在世界移动通信大会(MWC)上,基于与高通多年的合作沉淀,Prophesee 展示了新一代无模糊的手机摄影技术。目前客户可将该技术集成到支持第三代骁龙 8 移动平台的设备中。
2024 年 2 月 27 日,中国上海——领先的神经拟态视觉传感公司 Prophesee 今日宣布,与高通技术公司的合作进入可量产阶段。在巴塞罗那世界移动通信大会(MWC)期间,Prophesee 展示了其解决方案与骁龙®旗舰移动平台的原生兼容性,以及神经拟态视觉技术为智能手机摄像头带来的速度、能效和成像质量方面的提升。
图 1: 高通在骁龙峰会主会场介绍 Prophesee Metavision 解决方案
Prophesee Metavision 事件视觉传感器和人工智能算法针对骁龙平台进行了优化,使运动模糊消除(motion blur cancellation)的效果和整体图像的质量都得到前所未有的提升,尤其是在快速移动和低光等传统基于帧的 RGB 传感器难以应对的场景中。
图 2、3、4:使用 Metavision 传感 + AI算法,在搭载第三代骁龙 8 移动平台的设备上拍摄世界著名的巴黎歌剧院芭蕾舞团的舞者,实现去模糊效果
Prophesee 首席执行官兼联合创始人 Luca Verre 表示:“自 2023 年 2 月宣布合作以来,如今我们已取得了重大进展,证明了 Prophesee 事件视觉技术对提升搭载骁龙移动平台智能手机影像质量的显著作用,这是里程碑式的技术进步。现在,我们很高兴宣布 Metavision Deblur 解决方案已准备就绪,可投入生产。我们期待通过 Prophesee Metavision 解决方案为新一代智能手机解锁更强大的影像和视频功能。”
高通技术公司产品管理副总裁 Judd Heape 表示:“我们很高兴继续与 Prophesee 保持紧密合作,协力推动 Prophesee Metavision 事件视觉技术与第三代骁龙 8 旗舰移动平台的无缝兼容。这将显著提升手机影像质量,同时为搭载骁龙移动平台的智能设备解锁更多基于事件相机的免快门功能的新潜能。”
工作原理
Prophesee 突破性的事件视觉传感器能够为手机摄影提供全新的感知维度。由于事件视觉传感仅关注场景中的动态变化,能够迅速响应并连续追踪像素变化,从而打破了传统的成像范式。
Metavision 传感器中的每个像素都有一个内嵌的逻辑核(logic core),使其能够作为神经元来工作。 每个像素都能根据各自感应到的光子数量,异步且智能地激活自身。像素的每次激活称为一个“事件(event)”,因此在本质上,事件是由场景动态驱动的,其采集速度也始终与实际场景动态相匹配。
通过同步 Prophesee 事件传感器和基于帧的传感器的数据,手机摄影可以实现高性能的图像去模糊。系统能够将事件传感器以微秒为单位记录的事件填充到两帧图像的间隙,通过算法提取纯动态信息,从而修复运动模糊。
关于手机应用的更多详细信息,请访问:https://www.prophesee.ai/event-based-vision-mobile/
好文章,需要你的鼓励
Gartner预测,到2030年所有IT工作都将涉及AI技术的使用,这与目前81%的IT工作不使用AI形成鲜明对比。届时25%的IT工作将完全由机器人执行,75%由人类在AI辅助下完成。尽管AI将取代部分入门级IT职位,但Gartner认为不会出现大规模失业潮,目前仅1%的失业由AI造成。研究显示65%的公司在AI投资上亏损,而世界经济论坛预计AI到2030年创造的就业机会将比消除的多7800万个。
谷歌DeepMind团队开发的GraphCast是一个革命性的AI天气预测模型,能够在不到一分钟内完成10天全球天气预报,准确性超越传统方法90%的指标。该模型采用图神经网络技术,通过学习40年历史数据掌握天气变化规律,在极端天气预测方面表现卓越,能耗仅为传统方法的千分之一,为气象学领域带来了效率和精度的双重突破。
人工智能正从软件故事转向AI工厂基础,芯片、数据管道和网络协同工作形成数字化生产系统。这种新兴模式重新定义了性能衡量标准和跨行业价值创造方式。AI工厂将定制半导体、低延迟结构和大规模数据仪器整合为实时反馈循环,产生竞争优势。博通、英伟达和IBM正在引领这一转变,通过长期定制芯片合同和企业遥测技术,将传统体验转化为活跃的数字生态系统。
韩国成均馆大学研究团队开发了首个机器遗忘可视化评估系统Unlearning Comparator,解决了AI"选择性失忆"技术缺乏标准化评估的问题。系统通过直观界面帮助研究人员深入比较不同遗忘方法,并基于分析洞察开发出性能优异的引导遗忘新方法,为构建更负责任的AI系统提供重要工具支持。