中国苏州——GTC China——2019年12月18日——NVIDIA发布全新版本Isaac软件开发套件(SDK),为机器人提供更新的AI感知和仿真功能。
NVIDIA创始人兼首席执行官黄仁勋在NVIDIA最新的GPU技术会议(GTC CHINA 2019)上宣布了该消息。在建立统一的机器人开发平台以实现AI、仿真和操控功能方面,Isaac SDK迈出了重要的里程碑。
Isaac SDK包括Isaac Robotics Engine(提供应用程序框架),Isaac GEM(预先构建的深度神经网络模型、算法、库、驱动程序和API),用于室内物流的参考应用程序以及Isaac Sim的第一个版本(提供导航功能)。
全新Isaac SDK可以大大加快研究人员、开发人员、初创企业和制造商开发和测试机器人的速度。它使机器人能够通过仿真获得由人工智能技术驱动的感知和训练功能,从而可以在各种环境和情况下对机器人进行测试和验证。
这样一来,可以节省成本。
每台自主机器都始于感知。
为了加快AI机器人的开发速度,全新Isaac SDK包括各种基于摄像头的感知深度神经网络。其中:
该SDK的对象检测也已通过ResNet深度神经网络进行了更新,可以使用NVIDIA的迁移学习工具包对其进行训练。这使得添加新对象进行检测和训练新模型变得更加容易,这些新模型可以以较高的准确度启动并运行。
新版本引入了一项重要功能——使用Isaac Sim训练机器人,并将所生成的软件部署到在现实世界中运行的真实机器人中。这有望大大加快机器人的开发速度,从而实现综合数据的训练。
通过仿真,开发人员可以在极端情况下(即困难或异常情况下)对机器人进行测试,以进一步加强对它的训练。将这些结果输入训练管道,使神经网络可以基于真实和模拟数据来提高准确性。
全新SDK也提供了多机器人仿真。这使开发人员可以将多个机器人放入仿真环境中进行测试,以便它们学会彼此相关的工作。各个机器人可以在共享的虚拟环境中移动时,运行独立版本的Isaac导航软件堆栈。
因此,寻求在大型物流管理中运行多个机器人的制造商,可以先测试机器人交互作用并调试问题,再将其部署到现实世界。
全新SDK还集成了对NVIDIA DeepStream软件的支持,该软件广泛用于处理分析功能。开发人员可以在支持机器人应用程序的边缘AI部署DeepStream和NVIDIA GPU,以实现对视频流的处理。
开发人员现在可以构建各种各样的机器人,这些机器人需要对摄像头视频源进行分析,既可以用于机载应用,也可以用于远程定位。
最后,对于已经开发了自己代码的机器人开发人员,全新SDK也能集成他们的工作,并添加了基于C编程语言的新API。
这使开发人员可以将自己的软件堆栈连接到Isaac SDK,并最大程度地减少编程语言转换——为用户提供通过C API访问路由的Isaac功能。
C-API访问权限同时支持开发人员在其他编程语言中使用Isaac SDK。
现在可在此处下载全新版本NVIDIA Isaac SDK 2019.03。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。