汽车制造厂将采用基于NVIDIA全新Isaac平台构建的AI机器人
2020年5月14日,NVIDIA与宝马集团共同宣布,宝马集团已采用全新NVIDIA Isaac™机器人平台对其车厂进行优化,利用先进的AI计算与可视化技术为其打造物流机器人。
此次合作重点围绕实施基于NVIDIA技术的端到端系统展开,采用基于软件架构开发、运行于NVIDIA开放式Isaac机器人软件平台的机器人,完成从训练、测试到部署的全过程。宝马集团希望借此合作优化物流工厂的流程,以更快捷、更高效地生产定制化配置的汽车。开发完成后,系统将在宝马集团全球范围内的工厂进行部署。
“宝马集团采用 NVIDIA Isaac机器人平台重塑其工厂物流管理流程是一次具有革命性意义的举动。” NVIDIA创始人兼首席执行官黄仁勋表示,“宝马集团引领着机器人工厂时代,利用在人工智能和机器人领域取得的突破进展,创造出下一个高度可定制、及时、有序的制造水平。”
宝马集团物流高级副总裁Jürgen Maidl表示:“宝马秉承着将选择权交给客户的原则,为不同客户提供针对各款车型,多样化功能的量身定制。要想在一条生产线上,生产更高质量、高度定制化的各款车型,需要端到端的先进计算解决方案。与NVIDIA的合作使我们能够推进当前工厂物流的未来发展,并最终让宝马集团的全球客户满意。”
此次合作将采用NVIDIA DGX AI™系统和Isaac仿真技术对机器人进行训练和测试;采用NVIDIA光线追踪GPU对合成机器零件进行渲染,以此强化训练;并采用基于高性能NVIDIA Jetson™和EGX™ edge计算机以及Isaac软件开发套件(SDK)构建的一组全新AI机器人。
宝马集团供应链庞大,工厂从4,500个供应商那里接收数百万个零件,单一零件编号数量高达23万。而随着宝马集团的汽车销售在过去10年中翻了一番,达到250万辆,这些数字还会持续增长。此外,宝马集团的车辆平均为客户提供100种不同的定制化选择,意味着99%的客户订单都各有差别,这些都为工厂物流带来了巨大挑战。
为了优化这种物料流层面极高的复杂性,如今自主AI物流机器人能够协助当前流程,在同一条生产线上,组装高度定制化的车辆。
Maidl 表示:“大量定制化配置的需求从根本上来讲,在三个基础层面对宝马集团的生产带来了挑战,即计算、物流规划和数据分析。”
为了应对这些挑战,宝马集团选择与NVIDIA合作。使用NVIDIA的Isaac机器人平台开发五款具有AI功能的机器人,来改进物流工作流程,如用于自动运输物料的导航机器人、用于选择和整理零件的操控机器人,这些机器人都采用NVIDIA Jetson AGX Xavier™和EGX 边缘计算机。
基于NVIDIA Isaac SDK开发的机器人,利用大量强大的深度神经网络,可以处理感知,分割,姿势估计和人体姿势估计,以感知其环境,检测物体,自动导航和移动物体。这些机器人在真实数据和合成数据上进行训练,并使用NVIDIA GPU在各种光线和遮挡条件下渲染光线追踪机器部件,以增强真实数据。然后,在NVIDIA DGX系统上,基于实际数据和合成数据来训练深度神经网络。接下来,这些机器人在NVIDIA的Isaac模拟器上进行导航和操控的连续测试,并运行于NVIDIA Omniverse虚拟环境中,在该环境中,多位来自不同地区的宝马集团员工都能够在同一个仿真环境中展开工作。
新一代自主机器嵌入式系统NVIDIA Jetson将现代AI的力量带入数百万边缘设备,开启嵌入式物联网应用程序新领域。专区有最新活动、产品、资源和学习内容,带您感知AI新维度。访问地址:http://www.zhiding.cn/special/jetson
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。