DeepMap、Metropolis和ReOpt提高自主移动机器人的性能。预计到2025年自主移动机器人的部署地点将增加近6倍。
制造和订单配送运营中心异常复杂。每当有新的耳机或袜子在几个小时内送到您的家门口,或者车辆驶离装配线,就代表着AI正在助力物流发展。
机器人可以驶过数英里的过道,拿起数百万件产品,为搬运团队提供帮助。如此庞大的设施一直在发生变化,但障碍永远存在。
NVIDIA Isaac自主移动机器人(AMR)平台可以优化运营效率并加速AMR的部署。Isaac AMR扩展了NVIDIA Isaac的机器人应用构建和部署能力,将地图绘制、现场分析和机器人优化引入NVIDIA EGX服务器。
此类工业设施的面积可以像城市街区或体育场一样大。为了满足当下的产品需求,它们不断地被重新配置或扩大规模,因此需要同步进行自主机器人的路径规划和路线变更。
在工业规模上,即使是小规模的路线优化,也能为价值9万亿美元的物流业节省数十亿美元。
根据Interact Analysis的预测,到2025年,自主移动机器人部署的地点将从2020年的9000个增加到5.3万个。同时,在工人短缺和疫情限制的情况下,供应链难以跟上日益增长的电子商务。
其中的障碍之一是快速、自主开发高精度机器人地图的能力。这些地图需要随着业务的扩大或变化而持续更新。而为了提高运营效率,最重要的是提高移动机器人对变化环境的态势感知并不断重新优化路线,同时通过模拟来开发新的技能组合。
Isaac AMR是NVIDIA多年产品研究和开发的成果。该框架可在NVIDIA NGC软件中心上和NVIDIA Omniverse平台内使用,最初只提供Metropolis和ReOpt,不久之后开始提供DeepMap和更多的NVIDIA技术。
NVIDIA Isaac AMR演示视频:https://www.ixigua.com/7049546338261795364?logTag=61afd7c101536b998d3c
使用Isaac AMR扩大运营规模
用于制造和履行订单的自主移动机器人所面临的AI和计算挑战与自动驾驶汽车所面临的挑战并没有什么不同。
机器人必须避开障碍物和人并且需要到达目的地。由GPU加速算法驱动的数千个传感器,帮助自主机器人在不断变化的工业工作流程中,实时寻找多个目的地之间的最短路径。
Isaac AMR平台使用NVIDIA Omniverse为将要部署AMR的设施创建数字孪生。NVIDIA Isaac Sim(建立在Omniverse的基础上)通过高清物理学和感知来模拟数字孪生中的机器人、人类和其他机器的行为。它还能够生成用于训练AI模型的合成数据。
Isaac AMR由GPU加速AI技术和SDK组成,包括DeepMap、ReOpt和Metropolis。这些技术通过NVIDIA Fleet Command进行安全协调和云端交付。
DeepMap推动地图绘制技术的发展
NVIDIA对DeepMap的近期收购也为AMR行业带来了自动驾驶汽车地图绘制技术的进步。
部署AMR的地点可以访问DeepMap平台的云端SDK,这有助于将机器人大型设施地图绘制的时间从几周加快到几天,同时达到厘米级精度。
DeepMap更新客户端使机器人地图能够根据需要频繁进行实时更新。DeepMap SDK通过增加语义理解为地图提供智能层,使机器人可以识别像素所代表的对象,并知道它们是否可以单向移动。该SDK还能够解决室内和室外的地图构建问题。
作为Isaac AMR平台的一部分,NVIDIA DeepMap可与Metropolis、ReOpt、Isaac Sim via Omniverse等其他组件集成。
图1. 正在运行的NVIDIA Isaac AMR。该图像是由点云生成的体元栅格,而不是来自摄像机的数据,因此非常稀疏,所以才有模糊不清的感觉。
NVIDIA Metropolis提升实时态势感知
这些环境所需要的不仅仅是地图绘制。AMR上的先进传感器有时不足以确保安全和高效的运行。
NVIDIA Metropolis视频分析平台通过访问部署在整个工厂车间或仓库楼层的摄像机和传感器,满足更高水平的实时“从外至内”感知需求。
通过Metropolis,AMR可以访问更多的工厂车间态势感知层,因此可以避开高度拥挤的区域、消除盲点并且增强对人员和其他AMR的可视性。此外,Metropolis的预训练模型可以事先根据特定地点需求进行自定义。
ReOpt库改变物流行业
NVIDIA ReOpt AI软件库能够实时优化车辆路线规划和物流,因此可应用于AMR群。
在确定适合大型复杂环境部署的最佳AMR群规模时,需要考虑许多因素,包括机器人速度、电池续航时间、运输尺寸和重量以及设施布局。
企业可以通过NVIDIA ReOpt(使用Isaac Sim)模拟多种AMR互动并且可以在仓库等环境的数字孪生中快速、准确地进行这些互动。当情况发生变化时,还可以在将机器人部署生产之前实现这些互动,从而节省时间和成本。
在部署后,就必须通过不断重新优化路线来实现最大运营效率。NVIDIA ReOpt可以基于许多约束条件,为各种不同AMR所组成的机器人群组反复优化路线。
将AMR部署到生产中
Isaac AMR平台可在NVIDIA EGX服务器上使用,通过提供完整的工业和人类机器人模拟构建和路线优化路径来推动AI物流的发展。
图2. NVIDIA Isaac AMR平台专为企业级和云就绪打造。可以通过NVIDIA Fleet Command在EGX服务器上安全部署和管理Isaac AMR平台中的各种NVIDIA技术。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。