新闻重点:
Arm宣布推出Arm® Mali™-C78AE ISP,为其专为汽车应用的性能和安全而设计的IP产品组合再添新成员。搭配Cortex®-A78AE与Mali-G78AE的Mali-C78AE,可提供完整的ADAS图像数据处理流水线,能够优化性能、最大限度地降低功耗,并提供一致的方法来实现功能安全,从而驱动ADAS在下一阶段的量产导入。
根据调研机构Strategy Analytics近期的一份报告显示,从2020年到2025年,汽车摄像头市场总值的增长预计将达19%以上,使其成为可为车辆提供对周围环境做出决策所需的数据的最重要传感器类型。
Arm汽车和物联网事业部副总裁Chet Babla表示:“随着车载摄像头数量和精密程度的增加,将高吞吐量的图像数据高效、安全地转换为满足机器和人类视觉不同要求的输出的算力也需要相应提升。Mali-C78AE满足业界对于图像处理新方法的需求,有助于实现ADAS和自动驾驶的新功能。”
人类和机器视觉要求安全第一
Mali-C78AE专为各种ADAS功能所需的人类和机器视觉安全应用而设计,并且能够处理来自多达4个实时摄像头或16个虚拟摄像头的数据。
Mali-C78AE从开发之初就具备硬件安全机制和软件诊断功能,使系统设计人员能够满足ISO 26262 ASIL B功能安全的要求。Mali-C78AE旨在防止或检测出单个摄像头帧中可能导致帧数据处理错误的故障。为此,该ISP具有380多个故障检测电路,持续内置自检,并可检测所连摄像头的传感器和硬件故障。
视觉处理需要大量数据,且工作负载要求高
处理速度是Mali-C78AE的一大关键要素,其重要性不亚于安全性和用户体验。例如,从传感器获取图像,先后通过ISP和GPU进行处理,然后将其显示在屏幕上供驾驶员查看,整个过程应于150毫秒内完成;如果该过程耗时超过150毫秒,驾驶员会在使用停车辅助系统等功能时觉察到图像的延迟。而在机器视觉应用中,从获取摄像头图像到决策处理的整个过程,车辆移动距离不宜超过250毫米;若超过这个距离,则意味着机器视觉系统反应太慢,无法满足应对驾驶环境所需的准确且及时的决策要求。
为了使驾驶员和机器能够做出最佳决策,ADAS摄像头必须从每一帧中收集最相关的信息。Mali-C78AE采用先进的降噪技术和动态范围管理,通过调整画面过暗或过亮的区域,确保每帧画面都画质清晰且曝光适当。Mali-C78AE能够实时处理多达4个高分辨率、高帧率的摄像头数据,显著降低内存、通信和处理要求,进而提高系统效率。
|
|
|
|
图1:未使用Arm ISP技术 |
图2:使用Arm ISP技术 |
|
通过调整画面过暗或过亮的区域,Mali-C78AE确保每帧画面都画质清晰且曝光适当(如图2) |
|
目前,要实现多种ADAS功能,需要单独的摄像头设置,因为用于机器视觉应用的摄像头(例如车道偏离警告)不会产生适合人类视觉的图像,例如环视。为了降低实现多种ADAS功能的成本,Mali-C78AE通过对适用于机器视觉的传感器输出进行缩小和颜色转换,使得摄像头传感器可实现双重用途,从而创建适合人眼的图像。通过避免摄像头及其相关电子器件和线束的重复部署,OEM可节省成本并降低复杂性,从而在各种车型中更广泛地部署基于摄像头的ADAS功能,为驾驶员提供更安全、更优质的用户体验。
行业先锋采用强大的ADAS图像数据处理流水线
作为汽车视觉安全技术领域的先锋,Mobileye在其新一代EyeQ技术中率先采用了全新的Mali-C78AE ISP。Mobileye在开发Mobileye EyeQ Ultra和EyeQ6H之初,就选择了Mali-C78AE进行高效的图像数据处理,并通过搭配Mali-G78AE GPU,实现了安全、流畅、实时且直观的图形渲染功能,以满足严苛的车用需求。
Mobileye工程执行副总裁Elchanan Rushinek表示:“通过将Arm ISP和GPU技术相结合以实现全景可视化功能,我们可以提供集中式的计算解决方案,通过单颗SoC实现最先进的ADAS和停车辅助系统。”
好文章,需要你的鼓励
随着员工自发使用生成式AI工具,CIO面临影子AI的挑战。报告显示43%的员工在个人设备上使用AI应用处理工作,25%在工作中使用未经批准的AI工具。专家建议通过六项策略管理影子AI:建立明确规则框架、持续监控和清单跟踪、加强数据保护和访问控制、明确风险承受度、营造透明信任文化、实施持续的角色化AI培训。目标是支持负责任的创新而非完全禁止。
哈佛、MIT联合研究揭示人类语言理解的神经机制,发现大脑通过"信息出口"将语言从核心系统传递至专业脑区实现深度理解。研究提出浅层与深层理解的区别,为人工智能发展提供重要启示,表明真正智能需要多系统协作而非单一优化。该发现可能改变我们对语言认知的理解。
英国正式推出DaRe2THINK数字平台,旨在简化NHS全科医生参与临床试验的流程。该平台由伯明翰大学和MHRA临床实践研究数据链开发,能够安全传输GP诊所与NHS试验研究人员之间的健康数据,减少医生的管理负担。平台利用NHS现有健康信息,安全筛查来自450多家诊所的1300万患者记录,并使用移动消息系统保持试验对象参与度,为传统上无法参与的人群开辟了研究机会。
腾讯混元等团队开发出革命性的AI视频生成自我评判系统PAVRM和训练方法PRFL,让AI能在创作过程中实时评估和改进视频质量,无需等到完成才反馈。该技术使视频动态表现提升56%,人体结构准确性提升21.5%,训练效率提升1.4倍,为AI视频生成质量带来质的飞跃。