新闻重点:
Arm宣布推出Arm® Mali™-C78AE ISP,为其专为汽车应用的性能和安全而设计的IP产品组合再添新成员。搭配Cortex®-A78AE与Mali-G78AE的Mali-C78AE,可提供完整的ADAS图像数据处理流水线,能够优化性能、最大限度地降低功耗,并提供一致的方法来实现功能安全,从而驱动ADAS在下一阶段的量产导入。
根据调研机构Strategy Analytics近期的一份报告显示,从2020年到2025年,汽车摄像头市场总值的增长预计将达19%以上,使其成为可为车辆提供对周围环境做出决策所需的数据的最重要传感器类型。
Arm汽车和物联网事业部副总裁Chet Babla表示:“随着车载摄像头数量和精密程度的增加,将高吞吐量的图像数据高效、安全地转换为满足机器和人类视觉不同要求的输出的算力也需要相应提升。Mali-C78AE满足业界对于图像处理新方法的需求,有助于实现ADAS和自动驾驶的新功能。”
人类和机器视觉要求安全第一
Mali-C78AE专为各种ADAS功能所需的人类和机器视觉安全应用而设计,并且能够处理来自多达4个实时摄像头或16个虚拟摄像头的数据。
Mali-C78AE从开发之初就具备硬件安全机制和软件诊断功能,使系统设计人员能够满足ISO 26262 ASIL B功能安全的要求。Mali-C78AE旨在防止或检测出单个摄像头帧中可能导致帧数据处理错误的故障。为此,该ISP具有380多个故障检测电路,持续内置自检,并可检测所连摄像头的传感器和硬件故障。
视觉处理需要大量数据,且工作负载要求高
处理速度是Mali-C78AE的一大关键要素,其重要性不亚于安全性和用户体验。例如,从传感器获取图像,先后通过ISP和GPU进行处理,然后将其显示在屏幕上供驾驶员查看,整个过程应于150毫秒内完成;如果该过程耗时超过150毫秒,驾驶员会在使用停车辅助系统等功能时觉察到图像的延迟。而在机器视觉应用中,从获取摄像头图像到决策处理的整个过程,车辆移动距离不宜超过250毫米;若超过这个距离,则意味着机器视觉系统反应太慢,无法满足应对驾驶环境所需的准确且及时的决策要求。
为了使驾驶员和机器能够做出最佳决策,ADAS摄像头必须从每一帧中收集最相关的信息。Mali-C78AE采用先进的降噪技术和动态范围管理,通过调整画面过暗或过亮的区域,确保每帧画面都画质清晰且曝光适当。Mali-C78AE能够实时处理多达4个高分辨率、高帧率的摄像头数据,显著降低内存、通信和处理要求,进而提高系统效率。
|
|
|
|
图1:未使用Arm ISP技术 |
图2:使用Arm ISP技术 |
|
通过调整画面过暗或过亮的区域,Mali-C78AE确保每帧画面都画质清晰且曝光适当(如图2) |
|
目前,要实现多种ADAS功能,需要单独的摄像头设置,因为用于机器视觉应用的摄像头(例如车道偏离警告)不会产生适合人类视觉的图像,例如环视。为了降低实现多种ADAS功能的成本,Mali-C78AE通过对适用于机器视觉的传感器输出进行缩小和颜色转换,使得摄像头传感器可实现双重用途,从而创建适合人眼的图像。通过避免摄像头及其相关电子器件和线束的重复部署,OEM可节省成本并降低复杂性,从而在各种车型中更广泛地部署基于摄像头的ADAS功能,为驾驶员提供更安全、更优质的用户体验。
行业先锋采用强大的ADAS图像数据处理流水线
作为汽车视觉安全技术领域的先锋,Mobileye在其新一代EyeQ技术中率先采用了全新的Mali-C78AE ISP。Mobileye在开发Mobileye EyeQ Ultra和EyeQ6H之初,就选择了Mali-C78AE进行高效的图像数据处理,并通过搭配Mali-G78AE GPU,实现了安全、流畅、实时且直观的图形渲染功能,以满足严苛的车用需求。
Mobileye工程执行副总裁Elchanan Rushinek表示:“通过将Arm ISP和GPU技术相结合以实现全景可视化功能,我们可以提供集中式的计算解决方案,通过单颗SoC实现最先进的ADAS和停车辅助系统。”
好文章,需要你的鼓励
CPU架构讨论常聚焦于不同指令集的竞争,但实际上在单一系统中使用多种CPU架构已成常态。x86、Arm和RISC-V各有优劣,AI技术的兴起更推动了对性能功耗比的极致需求。当前x86仍主导PC和服务器市场,Arm凭借庞大生态系统在移动和嵌入式领域领先,RISC-V作为开源架构展现巨大潜力。未来芯片设计将更多采用异构计算,多种架构协同工作成为趋势。
延世大学研究团队通过分析AI推理过程中的信息密度模式,发现成功的AI推理遵循特定规律:局部信息分布平稳但全局可以不均匀。这一发现颠覆了传统的均匀信息密度假说在AI领域的应用,为构建更可靠的AI推理系统提供了新思路,在数学竞赛等高难度任务中显著提升了AI的推理准确率。
Vast Data与云计算公司CoreWeave签署了价值11.7亿美元的多年期软件许可协议,这标志着AI基础设施存储市场的重要转折点。该协议涵盖Vast Data的通用存储层及高级数据平台服务,将帮助CoreWeave提供更全面的AI服务。业内专家认为,随着AI集群规模不断扩大,存储系统在AI基础设施中的占比可能从目前的1.9%提升至3-5%,未来五年全球AI存储市场规模将达到900亿至2000亿美元。
蒙特利尔大学团队发现让AI"分段思考"的革命性方法Delethink,通过模仿人类推理模式将长篇思考分解为固定长度块,仅保留关键信息摘要。1.5B小模型击败传统大模型,训练成本降至四分之一,计算复杂度从平方级降为线性级,能处理十万词汇超长推理,为高效AI推理开辟新道路。