NVIDIA在ROSCon 2022大会上宣布了Isaac ROS 软件的最新版本——Developer Preview (DP) 2版本。该版本包含用于AMR机器人机队的全新云/边缘机器人任务管理和监测软件,以及为ROS 2开发者提供的额外功能。
Isaac ROS由单个软件包(GEM)和完整的工作流程(NITROS)组成,可提供硬件加速性能。除了提高性能之外,新版本还增加了以下功能:
任务调度/客户端
图1. 任务调度和任务客户端软件的结构
任务调度和任务客户端提供一种在机队管理系统和ROS 2机器人之间分配和追踪任务的标准开源方式。 任务调度和任务客户端使用一个专为机器人队设计的开放通信标准——VDA5050进行通信。信息则通过一个用于物联网(IoT)应用的轻量级信息收发协议——MQTT无线传输。
任务调度是一个可从NGC或者从Isaac GitHub上的源码下载的容器化微服务,并且可以集成到机队管理系统中。任务调度已被证明可与其他开源ROS 2客户端实现互操作,比如最近发布的由OTTO Motors和InOrbit开发的VDA5050连接器。
兼容ROS 2 Humble的任务客户端在Isaac ROS GitHub中以软件包的形式提供,并与Nav2导航堆栈预先集成,用于分配和追踪机器人上的导航等任务。
OTTO Motors首席技术官Ryan Gariepy表示:“随着现实世界中的移动机器人部署速度越来越快,交互操作性变得愈加关键。将VDA5050与ROS2组合成一个开源社区能够促进机队管理解决方案的创新,同时使机器人制造商能够专注于差异化。”
Isaac ROS提供领先的性能
Isaac ROS能继续为ROS 2开发者社区提供用于AI感知、图像处理和导航的硬件加速性能。自主机器人需要具备先进的AI和计算机视觉能力,而Isaac ROS体现了我们致力于帮助机器人社区更容易地采用这些尖端技术。
在此处查看Isaac ROS包的最新性能数据。
图1 BI3D模型在平面无特征表面上的立体深度性能提高。
中间是DP1.1版本,右边是DP2版本。
为ROS 2开发者提供免费培训
为了提供高级技术培训和接触Isaac ROS专家的机会,NVIDIA宣布将举办一系列主要针对ROS 2开发者的新网络研讨会。这些分会将免费提供,除此之外,为ROS 2开发加速模块的技术专家还将在会上回答与会者提出的问题。
前三场网络研讨会的主题如下:
该系列还将添加更多网络研讨会,请在此注册并观看。
入门指导
点击浏览汇总示例,立即开始使用Isaac ROS
好文章,需要你的鼓励
这项研究由浙江大学、复旦大学等机构联合完成,提出了ReVisual-R1模型,通过创新的三阶段训练方法显著提升了多模态大语言模型的推理能力。研究发现优化的纯文本冷启动训练、解决强化学习中的梯度停滞问题、以及分阶段训练策略是关键因素。ReVisual-R1在各类推理基准测试中超越了现有开源模型,甚至在某些任务上超过了商业模型,为多模态推理研究开辟了新途径。
这项研究提出了一种名为"批评式微调"的创新方法,证明仅使用一个问题的批评数据就能显著提升大语言模型的推理能力。研究团队对Qwen和Llama系列模型进行实验,发现这种方法在数学和逻辑推理任务上都取得了显著提升,平均提高15-16个百分点,而且只需要强化学习方法1/20的计算资源。这种简单高效的方法为释放预训练模型的潜在推理能力提供了新途径。
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。