新闻重点:
Arm宣布推出Arm® Mali™-C78AE ISP,为其专为汽车应用的性能和安全而设计的IP产品组合再添新成员。搭配Cortex®-A78AE与Mali-G78AE的Mali-C78AE,可提供完整的ADAS图像数据处理流水线,能够优化性能、最大限度地降低功耗,并提供一致的方法来实现功能安全,从而驱动ADAS在下一阶段的量产导入。
根据调研机构Strategy Analytics近期的一份报告显示,从2020年到2025年,汽车摄像头市场总值的增长预计将达19%以上,使其成为可为车辆提供对周围环境做出决策所需的数据的最重要传感器类型。
Arm汽车和物联网事业部副总裁Chet Babla表示:“随着车载摄像头数量和精密程度的增加,将高吞吐量的图像数据高效、安全地转换为满足机器和人类视觉不同要求的输出的算力也需要相应提升。Mali-C78AE满足业界对于图像处理新方法的需求,有助于实现ADAS和自动驾驶的新功能。”
人类和机器视觉要求安全第一
Mali-C78AE专为各种ADAS功能所需的人类和机器视觉安全应用而设计,并且能够处理来自多达4个实时摄像头或16个虚拟摄像头的数据。
Mali-C78AE从开发之初就具备硬件安全机制和软件诊断功能,使系统设计人员能够满足ISO 26262 ASIL B功能安全的要求。Mali-C78AE旨在防止或检测出单个摄像头帧中可能导致帧数据处理错误的故障。为此,该ISP具有380多个故障检测电路,持续内置自检,并可检测所连摄像头的传感器和硬件故障。
视觉处理需要大量数据,且工作负载要求高
处理速度是Mali-C78AE的一大关键要素,其重要性不亚于安全性和用户体验。例如,从传感器获取图像,先后通过ISP和GPU进行处理,然后将其显示在屏幕上供驾驶员查看,整个过程应于150毫秒内完成;如果该过程耗时超过150毫秒,驾驶员会在使用停车辅助系统等功能时觉察到图像的延迟。而在机器视觉应用中,从获取摄像头图像到决策处理的整个过程,车辆移动距离不宜超过250毫米;若超过这个距离,则意味着机器视觉系统反应太慢,无法满足应对驾驶环境所需的准确且及时的决策要求。
为了使驾驶员和机器能够做出最佳决策,ADAS摄像头必须从每一帧中收集最相关的信息。Mali-C78AE采用先进的降噪技术和动态范围管理,通过调整画面过暗或过亮的区域,确保每帧画面都画质清晰且曝光适当。Mali-C78AE能够实时处理多达4个高分辨率、高帧率的摄像头数据,显著降低内存、通信和处理要求,进而提高系统效率。
|
|
图1:未使用Arm ISP技术 |
图2:使用Arm ISP技术 |
通过调整画面过暗或过亮的区域,Mali-C78AE确保每帧画面都画质清晰且曝光适当(如图2) |
目前,要实现多种ADAS功能,需要单独的摄像头设置,因为用于机器视觉应用的摄像头(例如车道偏离警告)不会产生适合人类视觉的图像,例如环视。为了降低实现多种ADAS功能的成本,Mali-C78AE通过对适用于机器视觉的传感器输出进行缩小和颜色转换,使得摄像头传感器可实现双重用途,从而创建适合人眼的图像。通过避免摄像头及其相关电子器件和线束的重复部署,OEM可节省成本并降低复杂性,从而在各种车型中更广泛地部署基于摄像头的ADAS功能,为驾驶员提供更安全、更优质的用户体验。
行业先锋采用强大的ADAS图像数据处理流水线
作为汽车视觉安全技术领域的先锋,Mobileye在其新一代EyeQ技术中率先采用了全新的Mali-C78AE ISP。Mobileye在开发Mobileye EyeQ Ultra和EyeQ6H之初,就选择了Mali-C78AE进行高效的图像数据处理,并通过搭配Mali-G78AE GPU,实现了安全、流畅、实时且直观的图形渲染功能,以满足严苛的车用需求。
Mobileye工程执行副总裁Elchanan Rushinek表示:“通过将Arm ISP和GPU技术相结合以实现全景可视化功能,我们可以提供集中式的计算解决方案,通过单颗SoC实现最先进的ADAS和停车辅助系统。”
好文章,需要你的鼓励
Roig Arena 将于 2025 年 9 月在瓦伦西亚开业,借助 Extreme Networks 的 6GHz Wi-Fi 与数据分析技术,实现无缝运营与个性化观众体验,打造全天候活动中心。
这项研究首次系统研究了大语言模型在表达不确定性时的"忠实度"问题,发现它们往往在不确定时仍使用肯定语言,导致用户过度信任。研究团队提出了MetaFaith方法,通过激发模型的"元认知"能力,使其能更诚实地表达不确定性。在14种模型和10个数据集的测试中,MetaFaith将忠实度提升了高达61%,且83%的情况下被人类评为更可靠。这一突破对构建更值得信任的AI系统具有重要意义。
OpenMamba 是一款意大利独立滚动更新的 Linux 发行版,基于 Fedora 工具构建,提供 KDE Plasma 与 LXQt 桌面。它采用最新组件和标准打包工具,运行稳定且易用,适合规避主流系统限制的用户。
这项研究提出了强化蒸馏(REDI)框架,创新性地利用大型语言模型生成的正确和错误推理过程进行训练。传统方法仅使用正确样本,浪费了包含宝贵信息的错误样本。REDI采用两阶段方法:先用正确样本建立基础,再通过非对称加权的目标函数利用错误样本进一步优化。实验表明,仅用131k个公开数据样本训练的Qwen-REDI-1.5B模型在MATH-500等基准上达到83.1%准确率,与使用800k专有数据训练的同类模型相当或更优,为小型模型离线学习复杂推理能力提供了高效途径。