基于 Prophesee Metavision® 事件视觉传感器和 AI算法在性能、功耗及速度上的优势,开发人员现可打造支持 AMD 平台的全新一代边缘 AI 机器视觉应用。
2024 年 5 月 30 日,中国上海——领先的神经拟态视觉传感公司 Prophesee 宣布,其 Metavision® HD 事件视觉传感器和 AI 算法现已支持 AMD Kria™ KV260视觉 AI 入门套件(AMD Kria™ KV260 Vision AI Starter Kit),两者的强强联合将加速高级边缘机器视觉应用的开发。同时,此次合作也标志着业界首款兼容 AMD 平台的事件视觉开发套件问世。该套件将为客户提供一个高效平台,助力客户快速评估智慧城市、机器视觉、安全摄像头、零售分析等领域的工业级解决方案,并将其投入生产。
KV260 视觉 AI 入门套件是 AMD Kria™ K26 系统模块(SOM)的开发平台,专为高级视觉应用开发而构建,无需开发者拥有复杂的硬件设计知识或 FPGA 编程技能。AMD Kria SOM 适用于边缘 AI 应用,开箱即用(production-ready),配备数量丰富的 I/O 接口,高能效且具有成本效益,可加速视觉和机器人任务。结合 Prophesee 突破性的事件视觉技术,机器视觉系统开发者可利用 Metavision 平台的低延迟和低功耗优势,创建出传统基于帧的视觉方案无法实现且更高效的应用。
。
图 1:Prophesee Metavision 入门套件 – AMD Kria KV260 和主动光通信( Active Marker)LED 板
该套件中包含一款突破性的即插即用主动光通信(Active Markers Tracking)应用程序,支持 >1,000Hz 的 3D 姿态估计(3D pose estimation),能够在像素级别上完全消除背景干扰,同时在复杂的照明条件下提供极高的鲁棒性。该款应用程序展现了 Prophesee Metavision 事件视觉技术的独特功能,为实现一系列全新的超高速跟踪用例提供了助力,如游戏控制器跟踪、建筑工地安全、重载防摇摆系统等。
此外,更多的即用型应用算法将在未来几个月内推出。
Prophesee 入门套件是一款“开箱即用”的开发解决方案,让开发人员能够快速启动并运行 Prophesee Metavision SDK,以及 Prophesee 与索尼携手打造的 IMX636 HD 事件视觉传感器。这使得算法能够轻松移植到 AMD 商用和工业级 SOM 上(这些模块由定制的 Zynq™ UltraScale+™ 多处理器片上系统(MPSoC)驱动),极大地提升了开发效率和系统性能。
AMD 工业、视觉、医疗和科学市场高级总监 Chetan Khona 表示:“Kria 生态系统正在蓬勃发展,这极大地促进了机器人专家和开发人员在动作捕捉、连接性技术和边缘 AI 应用领域的创新发展。Prophesee 事件视觉传感技术为机器视觉应用提供了独特的优势。事件视觉传感生成的数据量较少,这一特点不仅确保了系统的高能效运行,还显著降低了计算负担与内存需求,进而实现了更为迅捷的系统响应。”
Prophesee 联合创始人兼首席执行官 Luca Verre 表示:“通过与 AMD 联手,我们打造了一款高效的开发辅助工具,让开发基于事件的边缘应用变轻松。为了让开发人员充分体验事件视觉技术低功耗和低延迟的独特优势,我们提供了全方位的资源支持,同时打造了一个灵活的开发环境,让开发人员能够基于客户定制应用和用例的具体 KPI,优化机器视觉系统。此举将进一步加速事件视觉技术在关键细分市场的普及,而 Metavision 的独特优势也将助推这些细分市场的创新发展。
定价及供货
兼容 AMD Kria KV260 入门套件的 Prophesee 事件视觉解决方案现已上市。
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。