所有移动的事物都将变得自主化。 所有自主化的事物都需要先进的实时感知。
NVIDIA这一最新宣布,向ROS开发者社区提供整套感知技术。对于寻求将先进计算机视觉和AI/ML功能纳入基于ROS的机器人应用程序的开发人员来说,这将缩短开发时间并提高性能。
Open Robotics将扩展用于NVIDIA AI的ROS
Open Robotics首席执行官Brian Gerkey表示:“随着越来越多的ROS开发人员利用硬件平台,这些平台包含额外的计算功能,旨在减轻主机CPU的负担,ROS正在发展,以更容易有效地利用这些先进的硬件资源。我们与NVIDIA这样的加速计算领导者合作,以及其在人工智能和机器人技术创新方面的丰富经验,将为整个ROS社区带来很大益处。”
NVIDIA和Open Robotics已达成协议,将在NVIDIA Jetson边缘AI平台和基于GPU的系统上加速ROS 2性能,并在 Omniverse 上实现 Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之间的无缝模拟互操作性。
NVIDIA Jetson 平台在很多应用领域中被机器人专家广泛采用。它旨在为机器人提供高性能、低延迟的处理,使其具有响应性、安全性和协作性。Open Robotics将通过升级ROS 2来高效管理位于NVIDIA Jetson平台上的GPU和其他处理器之间的数据流并共享内存,使负责实时处理摄像头和激光雷达等传感器高带宽数据的应用性能得到大幅提升。
除了增强机器人应用在Jetson上的部署,Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的计划。NVIDIA Isaac Sim已支持开箱即用的ROS 1和2,并通过连接Blender和Unreal Engine 4等流行应用来创建一个至关重要的3D内容生态系统。
Ignition Gazebo数十年来在整个机器人界,包括在正在进行的DARPA Subterranean Challenge等高知名度比赛中创造了许多纪录。
通过连接这两个模拟器,ROS开发者可以轻松地在Ignition Gazebo和Isaac Sim之间移动他们的机器人和环境以运行大型模拟,还可以使用高保真动力学、精确传感器模型和逼真渲染等两个模拟器的先进功能来生成用于训练和测试AI模型的合成数据。
此次合作所产生的软件预计将于2022年春季发布。
为ROS发布的Isaac GEM速度显著加快
用于ROS的Isaac GEM是一款使ROS开发者更容易在Jetson平台上构建高性能解决方案的硬件加速包。这些GEM专注于提高图像处理和基于DNN的感知模型的吞吐量,而后者对机器人专家而言正变得日益重要。这些软件包减少了主机CPU的负载,同时显著提升了性能。
用于ROS的全新Isaac GEM包含:
图1 ROS对立体相机的支持,在ROS的Rviz工具中可以看到左侧和右侧相机视图。Rviz能显示RGB和深度图像。
Isaac Sim的新功能为ROS开发者提供便利
最新版本的Isaac Sim包含对ROS开发者社区的重要支持,其中比较引人注目的是ROS2导航栈和MoveIt运动规划框架。这些示例今天即开放使用,并可在Isaac Sim文档中找到:
Isaac Sim中的ROS示例列表
图2 Isaac Sim on Omniverse功能模块图,包含机器人模型、环境模型和3D资料输入。
Isaac Sim生成用于训练感知的合成数据集
除了作为一个机器人模拟器之外,Isaac Sim还具备一套强大的功能,可以生成合成数据来训练和测试感知模型。随着机器人专家将更多的感知功能集成到他们的平台,这些功能将变得更加重要。显然,机器人对环境的感知能力越强,它的自主性就越强,所需的人为干预就越少。
一旦Isaac Sim生成了合成数据集,就可以将它们直接输入NVIDIA TAO(一个AI模型自适应平台),从而根据机器人的具体工作环境调整感知模型。在从目标环境中采集任何实际数据之前,就可以确保机器人的感知栈在特定工作环境中的表现。
长期以来,机器人专家在连接和集成经典机器人任务(如导航)和AI感知栈方面一直面临着各种挑战。Isaac Sim通过同时作为机器人和合成数据生成工具并与TAO训练平台进行集成解决了这一工作流程挑战。
https://www.ixigua.com/7010968939471569416?utm_source=xiguastudio
更多精彩内容,敬请期待 ROS World和2021年GTC大会
NVIDIA正在为2021年10月21日至22日的ROS World做准备。我们计划为Jetson开发者发布更多新的GEM,包括多个常用的DNN。我们还将发布多项支持ROS开发者社区的Isaac Sim功能。欢迎莅临我们的虚拟展台,参加NVIDIA ROS圆桌会议,观看关于Isaac Sim的技术演示等精彩内容。
在即将于11月8日至11日举行的GTC大会上,NVIDIA将为大家带来精彩纷呈的演讲、讲座和内容。我们专为机器人开发者准备了一个通道,其中包含Open Robotics首席执行官兼联合创始人Brian Gerkey的演讲。此外,我们还将举办涵盖NVIDIA Jetson、Isaac ROS、Isaac Sim、Isaac GYM等主题的讲座。
即刻启程
即刻体验NVIDIA AI Perception,请使用以下链接:
点击此处下载用于ROS 的Isaac GEM
点击此处进一步了解Isaac Sim
点击此处获取关于使用Isaac Sim生成合成数据的教程
点击此处进一步了解使用Tao工具包加速机器学习训练
好文章,需要你的鼓励
在“PEC 2025 AI创新者大会暨第二届提示工程峰会”上,一场以“AIGC创作新范式——双脑智能时代:心智驱动的生产力变革”为主题的分论坛,成为现场最具张力的对话空间。
人民大学团队开发了Search-o1框架,让AI在推理时能像侦探一样边查资料边思考。系统通过检测不确定性词汇自动触发搜索,并用知识精炼模块从海量资料中提取关键信息无缝融入推理过程。在博士级科学问题测试中,该系统整体准确率达63.6%,在物理和生物领域甚至超越人类专家水平,为AI推理能力带来突破性提升。
Linux Mint团队计划加快发布周期,在未来几个月推出两个新版本。LMDE 7代号"Gigi"基于Debian 13开发,将包含libAdapta库以支持Gtk4应用的主题功能。新版本将停止提供32位版本支持。同时Cinnamon桌面的Wayland支持持续改进,在菜单、状态小程序和键盘输入处理方面表现更佳,有望成为完整支持Wayland的重要桌面环境之一。
Anthropic研究团队开发的REINFORCE++算法通过采用全局优势标准化解决了AI训练中的"过度拟合"问题。该算法摒弃了传统PPO方法中昂贵的价值网络组件,用统一评价标准替代针对单个问题的局部基准,有效避免了"奖励破解"现象。实验显示,REINFORCE++在处理新问题时表现更稳定,特别是在长文本推理和工具集成场景中展现出优异的泛化能力,为开发更实用可靠的AI系统提供了新思路。