所有移动的事物都将变得自主化。 所有自主化的事物都需要先进的实时感知。
NVIDIA这一最新宣布,向ROS开发者社区提供整套感知技术。对于寻求将先进计算机视觉和AI/ML功能纳入基于ROS的机器人应用程序的开发人员来说,这将缩短开发时间并提高性能。
Open Robotics将扩展用于NVIDIA AI的ROS
Open Robotics首席执行官Brian Gerkey表示:“随着越来越多的ROS开发人员利用硬件平台,这些平台包含额外的计算功能,旨在减轻主机CPU的负担,ROS正在发展,以更容易有效地利用这些先进的硬件资源。我们与NVIDIA这样的加速计算领导者合作,以及其在人工智能和机器人技术创新方面的丰富经验,将为整个ROS社区带来很大益处。”
NVIDIA和Open Robotics已达成协议,将在NVIDIA Jetson边缘AI平台和基于GPU的系统上加速ROS 2性能,并在 Omniverse 上实现 Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之间的无缝模拟互操作性。
NVIDIA Jetson 平台在很多应用领域中被机器人专家广泛采用。它旨在为机器人提供高性能、低延迟的处理,使其具有响应性、安全性和协作性。Open Robotics将通过升级ROS 2来高效管理位于NVIDIA Jetson平台上的GPU和其他处理器之间的数据流并共享内存,使负责实时处理摄像头和激光雷达等传感器高带宽数据的应用性能得到大幅提升。
除了增强机器人应用在Jetson上的部署,Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的计划。NVIDIA Isaac Sim已支持开箱即用的ROS 1和2,并通过连接Blender和Unreal Engine 4等流行应用来创建一个至关重要的3D内容生态系统。
Ignition Gazebo数十年来在整个机器人界,包括在正在进行的DARPA Subterranean Challenge等高知名度比赛中创造了许多纪录。
通过连接这两个模拟器,ROS开发者可以轻松地在Ignition Gazebo和Isaac Sim之间移动他们的机器人和环境以运行大型模拟,还可以使用高保真动力学、精确传感器模型和逼真渲染等两个模拟器的先进功能来生成用于训练和测试AI模型的合成数据。
此次合作所产生的软件预计将于2022年春季发布。
为ROS发布的Isaac GEM速度显著加快
用于ROS的Isaac GEM是一款使ROS开发者更容易在Jetson平台上构建高性能解决方案的硬件加速包。这些GEM专注于提高图像处理和基于DNN的感知模型的吞吐量,而后者对机器人专家而言正变得日益重要。这些软件包减少了主机CPU的负载,同时显著提升了性能。
用于ROS的全新Isaac GEM包含:
图1 ROS对立体相机的支持,在ROS的Rviz工具中可以看到左侧和右侧相机视图。Rviz能显示RGB和深度图像。
Isaac Sim的新功能为ROS开发者提供便利
最新版本的Isaac Sim包含对ROS开发者社区的重要支持,其中比较引人注目的是ROS2导航栈和MoveIt运动规划框架。这些示例今天即开放使用,并可在Isaac Sim文档中找到:
Isaac Sim中的ROS示例列表
图2 Isaac Sim on Omniverse功能模块图,包含机器人模型、环境模型和3D资料输入。
Isaac Sim生成用于训练感知的合成数据集
除了作为一个机器人模拟器之外,Isaac Sim还具备一套强大的功能,可以生成合成数据来训练和测试感知模型。随着机器人专家将更多的感知功能集成到他们的平台,这些功能将变得更加重要。显然,机器人对环境的感知能力越强,它的自主性就越强,所需的人为干预就越少。
一旦Isaac Sim生成了合成数据集,就可以将它们直接输入NVIDIA TAO(一个AI模型自适应平台),从而根据机器人的具体工作环境调整感知模型。在从目标环境中采集任何实际数据之前,就可以确保机器人的感知栈在特定工作环境中的表现。
长期以来,机器人专家在连接和集成经典机器人任务(如导航)和AI感知栈方面一直面临着各种挑战。Isaac Sim通过同时作为机器人和合成数据生成工具并与TAO训练平台进行集成解决了这一工作流程挑战。
https://www.ixigua.com/7010968939471569416?utm_source=xiguastudio
更多精彩内容,敬请期待 ROS World和2021年GTC大会
NVIDIA正在为2021年10月21日至22日的ROS World做准备。我们计划为Jetson开发者发布更多新的GEM,包括多个常用的DNN。我们还将发布多项支持ROS开发者社区的Isaac Sim功能。欢迎莅临我们的虚拟展台,参加NVIDIA ROS圆桌会议,观看关于Isaac Sim的技术演示等精彩内容。
在即将于11月8日至11日举行的GTC大会上,NVIDIA将为大家带来精彩纷呈的演讲、讲座和内容。我们专为机器人开发者准备了一个通道,其中包含Open Robotics首席执行官兼联合创始人Brian Gerkey的演讲。此外,我们还将举办涵盖NVIDIA Jetson、Isaac ROS、Isaac Sim、Isaac GYM等主题的讲座。
即刻启程
即刻体验NVIDIA AI Perception,请使用以下链接:
点击此处下载用于ROS 的Isaac GEM
点击此处进一步了解Isaac Sim
点击此处获取关于使用Isaac Sim生成合成数据的教程
点击此处进一步了解使用Tao工具包加速机器学习训练
好文章,需要你的鼓励
谷歌今日发布Gemini Enterprise,这是一个集成了先进AI模型、聊天机器人和智能代理的一体化企业平台。该平台提供统一聊天界面,可安全连接各种数据源,包括Google Workspace、Microsoft 365等企业应用。平台内置超过1500个AI代理,支持无代码构建工具,用户可创建自动化工作流程。标准版年费每席位每月30美元起。
华中科技大学联合华为和上海交大研究团队开发出革命性3D人体重建系统Snap-Snap,仅需正面和背面两张照片即可在190毫秒内生成完整3D人像。该技术突破了传统方法对昂贵设备和复杂人体先验模型的依赖,通过智能几何推理和侧面增强算法实现高质量重建,为虚拟现实、游戏开发等领域的大众化应用奠定基础。
OpenAI推出的AI视频生成应用Sora在不到五天内下载量突破100万次,增长速度超过ChatGPT。该应用类似TikTok,提供无限垂直视频流,但所有视频均由AI生成。用户只需输入提示词即可创建10秒视频,还可通过Cameo功能制作个人视频。尽管目前仅在北美地区开放且需要邀请码使用,但已引发版权争议和娱乐行业反弹。
这项研究介绍了aiXiv——首个专为AI科学家设计的开放学术平台。该平台由多伦多大学等18个机构联合开发,支持AI独立完成论文提交、同行评审和发表全流程。通过多智能体架构和五阶段安全防护机制,平台实现了81%的评判准确率,并显著提升了AI生成研究的质量。这标志着科学研究范式的重大转变。