该德国研究小组的O3dyn平台使用NVIDIA的模拟技术来创造用于制造业的自主移动机器人。
Joseph Fraunhofer是19世纪的光学研究领域先驱者,他将科学研究与工业应用结合在一起。今天,欧洲最大的研发机构——德国的弗劳恩霍夫协会——正将目光投向从 AI 到网络安全再到医学等关键技术的应用研究。
该学会旗下的弗劳恩霍夫物流研究院(Fraunhofer IML)希望推动物流和机器人技术的发展。这支德国研究团队正在使用NVIDIA Isaac Sim,通过模拟来推动机器人设计方面的进展。
与宝马、亚马逊和西门子等众多公司一样,弗劳恩霍夫物流研究院同样依赖于NVIDIA Omniverse。该机构正在利用该软件推动物流实践和制造方面的应用研究。
弗劳恩霍夫的最新创新成果O3dyn,正使用NVIDIA的模拟和机器人技术来创造一个室内-室外自主移动机器人(AMR)。
其目标是实现从自动导引车转向快速自主移动机器人的飞跃,而后者尚未在市场上出现。
这一自动化水平的进步有望大幅提升物流速度。
弗劳恩霍夫物流研究院的机器人和AI研究员Julian Eber表示:“我们正在研究,如何在物流场景中尽可能地保证机器人的移动既快速又安全。”
从MP3文件格式到自主移动机器人
弗劳恩霍夫物流研究院的母机构位于靠近德国版图中央的多特蒙德,拥有超过3万名员工并且参与了数百个研究项目。该机构在1990年代负责开发MP3文件格式,并引发了数字音乐革命。
为了让自动导引车同当时的光盘一样发展,Fraunhofer在2013年推出了一款开创性的机器人。现在这款机器人已被宝马公司在其装配厂和其他地方广泛使用。
这款名为STR的机器人已成为工业制造的“主力军”。它被用于移动生产线上的货物搬运。弗劳恩霍夫物流研究院的AI研究工作推动了STR和该机器人平台其他层面的更新,比如O3dyn。
弗劳恩霍夫物流研究院的目标是创造出最先进的自主移动机器人。O3dyn依靠NVIDIA Jetson边缘AI和机器人平台上众多的摄像头和传感器输入来帮助导航。
这台机器人具有更高的速度和敏捷性,它能够以每小时30英里的速度前进并配有AI辅助车轮,可以朝任何方向移动,即便在狭小的空间也能游刃有余。
弗劳恩霍夫物流研究院的AI和自主系统负责人Sören Kerner表示:“全向移动是这款机器人所独有的能力,据我们所知,目前市场上没有这样的机器人。”
弗劳恩霍夫物流研究院在NVIDIA GTC大会上介绍了这款托盘移动机器人的最新开发情况。
从模拟到现实
弗劳恩霍夫物流研究院在其最新研究中使用了Isaac Sim,致力于通过缩小模拟与现实之间的差距,在模拟中开发和验证这些自主移动机器人。研究人员依靠Isaac Sim对这款高度自主化的移动机器人进行虚拟开发,在逼真且物理精确的3D世界中锻炼机器人。
这使该研究院能够将机器人的5400多个部件从计算机辅助设计软件中导入虚拟环境,然后使用Omniverse PhysX为它们提供物理上准确的规格。
其结果是,该虚拟机器人版本在模拟中可以像现实世界的物理机器人一样迅速移动。弗劳恩霍夫物流研究院充分利用虚拟环境来加快开发速度、安全地提高其在现实世界部署的准确性并更快地扩大规模。
弗劳恩霍夫物流研究院所提出的“基于模拟的AI”的概念指的是尽量缩小模拟与现实之间的差距,使模拟成为机器人的数字现实。
为了更快取得成果,该研究院正在以开源形式发布这个自主移动机器人模拟模型,以便开发者进行改进。
Kerner表示:“这对物流行业的未来发展十分重要。我们希望能够有尽可能多的人在模拟环境中研究此类移动机器人的定位、导航和AI。”
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。