新闻重点:
Arm宣布推出Arm® Mali™-C78AE ISP,为其专为汽车应用的性能和安全而设计的IP产品组合再添新成员。搭配Cortex®-A78AE与Mali-G78AE的Mali-C78AE,可提供完整的ADAS图像数据处理流水线,能够优化性能、最大限度地降低功耗,并提供一致的方法来实现功能安全,从而驱动ADAS在下一阶段的量产导入。
根据调研机构Strategy Analytics近期的一份报告显示,从2020年到2025年,汽车摄像头市场总值的增长预计将达19%以上,使其成为可为车辆提供对周围环境做出决策所需的数据的最重要传感器类型。
Arm汽车和物联网事业部副总裁Chet Babla表示:“随着车载摄像头数量和精密程度的增加,将高吞吐量的图像数据高效、安全地转换为满足机器和人类视觉不同要求的输出的算力也需要相应提升。Mali-C78AE满足业界对于图像处理新方法的需求,有助于实现ADAS和自动驾驶的新功能。”
人类和机器视觉要求安全第一
Mali-C78AE专为各种ADAS功能所需的人类和机器视觉安全应用而设计,并且能够处理来自多达4个实时摄像头或16个虚拟摄像头的数据。
Mali-C78AE从开发之初就具备硬件安全机制和软件诊断功能,使系统设计人员能够满足ISO 26262 ASIL B功能安全的要求。Mali-C78AE旨在防止或检测出单个摄像头帧中可能导致帧数据处理错误的故障。为此,该ISP具有380多个故障检测电路,持续内置自检,并可检测所连摄像头的传感器和硬件故障。
视觉处理需要大量数据,且工作负载要求高
处理速度是Mali-C78AE的一大关键要素,其重要性不亚于安全性和用户体验。例如,从传感器获取图像,先后通过ISP和GPU进行处理,然后将其显示在屏幕上供驾驶员查看,整个过程应于150毫秒内完成;如果该过程耗时超过150毫秒,驾驶员会在使用停车辅助系统等功能时觉察到图像的延迟。而在机器视觉应用中,从获取摄像头图像到决策处理的整个过程,车辆移动距离不宜超过250毫米;若超过这个距离,则意味着机器视觉系统反应太慢,无法满足应对驾驶环境所需的准确且及时的决策要求。
为了使驾驶员和机器能够做出最佳决策,ADAS摄像头必须从每一帧中收集最相关的信息。Mali-C78AE采用先进的降噪技术和动态范围管理,通过调整画面过暗或过亮的区域,确保每帧画面都画质清晰且曝光适当。Mali-C78AE能够实时处理多达4个高分辨率、高帧率的摄像头数据,显著降低内存、通信和处理要求,进而提高系统效率。
|
|
|
|
图1:未使用Arm ISP技术 |
图2:使用Arm ISP技术 |
|
通过调整画面过暗或过亮的区域,Mali-C78AE确保每帧画面都画质清晰且曝光适当(如图2) |
|
目前,要实现多种ADAS功能,需要单独的摄像头设置,因为用于机器视觉应用的摄像头(例如车道偏离警告)不会产生适合人类视觉的图像,例如环视。为了降低实现多种ADAS功能的成本,Mali-C78AE通过对适用于机器视觉的传感器输出进行缩小和颜色转换,使得摄像头传感器可实现双重用途,从而创建适合人眼的图像。通过避免摄像头及其相关电子器件和线束的重复部署,OEM可节省成本并降低复杂性,从而在各种车型中更广泛地部署基于摄像头的ADAS功能,为驾驶员提供更安全、更优质的用户体验。
行业先锋采用强大的ADAS图像数据处理流水线
作为汽车视觉安全技术领域的先锋,Mobileye在其新一代EyeQ技术中率先采用了全新的Mali-C78AE ISP。Mobileye在开发Mobileye EyeQ Ultra和EyeQ6H之初,就选择了Mali-C78AE进行高效的图像数据处理,并通过搭配Mali-G78AE GPU,实现了安全、流畅、实时且直观的图形渲染功能,以满足严苛的车用需求。
Mobileye工程执行副总裁Elchanan Rushinek表示:“通过将Arm ISP和GPU技术相结合以实现全景可视化功能,我们可以提供集中式的计算解决方案,通过单颗SoC实现最先进的ADAS和停车辅助系统。”
好文章,需要你的鼓励
2025年1月,OpenAI、软银、甲骨文和MGX联合宣布"星际之门"计划,承诺投资5000亿美元,部署高达10GW算力基础设施。如今,该项目已从白宫发布会上的宏大承诺,演变为一场前所未有规模的基础设施建设实验。项目已扩展至德克萨斯、威斯康星、俄亥俄等多地,并延伸至阿布扎比和挪威。然而,融资争议、合作伙伴摩擦、能源压力及政策监管收紧,正考验着这一"AI工业园"模式能否真正落地。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
加密货币交易所OKX正式推出AI智能体交易市场OKX AI,允许AI代理相互雇佣、自主结算,并建立基于区块链的可携带信誉档案。该平台经过50家早期服务商封测后向开发者开放,依托稳定币和链上支付基础设施,支持全天候微支付。OKX创始人徐明星表示,传统金融基础设施为人类而建,智能体经济需要为自主软件专门设计的基础设施。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。