2024 年 3 月 18 日——NVIDIA于今日宣布将以API形式提供Omniverse™ Cloud,将该全球领先的工业数字孪生应用和工作流创建平台的覆盖范围扩展至整个软件制造商生态系统。
借助五个全新Omniverse Cloud应用编程接口(API),开发者能够轻松地将Omniverse的核心技术直接集成到现有的数字孪生设计与自动化软件应用中,或是集成到用于测试和验证机器人或自动驾驶汽车等自主机器的仿真工作流中。
一些全球大型工业软件制造商正在将Omniverse Cloud API加入到其软件组合中,包括 Ansys、Cadence、达索系统旗下3DEXCITE品牌、Hexagon、微软、罗克韦尔自动化、西门子和Trimble等。
NVIDIA创始人兼首席执行官黄仁勋表示:“所有制造出来的产品都将拥有数字孪生。Omniverse是一个可以构建并操作物理真实的数字孪生的操作系统。Omniverse和生成式AI都是将价值高达50万亿美元的重工业市场进行数字化所需的基础技术。”
全新Omniverse Cloud API
五个全新Omniverse Cloud API既可单独使用,也可组合使用。它们分别是:
为工业应用带来交互式可视化和协作
自动化、数字化和可持续发展领域的技术领先企业西门子正在其西门子Xcelerator平台中采用Omniverse Cloud API,首先采用的是领先的云端产品生命周期管理(PLM)软件Teamcenter X。
黄仁勋在GTC主题演讲中展示了Teamcenter X与Omniverse API的连接,这能打通设计数据到NVIDIA生成式AI API之间的通路,且允许在该应用内直接使用Omniverse RTX渲染。
西门子总裁兼首席执行官Roland Busch表示:“通过NVIDIA Omniverse API,西门子能够利用生成式AI赋能客户,使其符合物理学的数字孪生变得更具沉浸感。这将帮助所有人在实际建造前,对下一代产品、制造流程和工厂进行虚拟设计、建造和测试。通过将现实世界与数字世界相结合,西门子数字孪生技术正在帮助全球企业提高竞争力、弹性和可持续发展能力。"
工程仿真软件领域的领先企业Ansys正使用Omniverse Cloud API实现数据互操作性和RTX可视化,例如用于自动驾驶汽车的Ansys AVxcelerate™ 、用于6G仿真的Ansys Perceive EM,以及NVIDIA加速的求解器(如Ansys Fluent™)等解决方案。
领先的计算软件提供商Cadence正在其Cadence® Reality Digital Twin Platform中采用Omniverse Cloud API,使企业能够在构建实物之前,先在数字孪生中对数据中心进行设计、模拟和优化。
虚拟宇宙领域的可持续创新领先者达索系统正在使用Omniverse Cloud API和Shutterstock 3D AI服务,以支持其3DEXCITE内容创作应用的生成式叙事。
除此之外还包括:
在 GTC 发布的demo中,微软和 NVIDIA 披露了与 Hexagon 和罗克韦尔自动化的早期合作,展现了这些先进技术。
加速自主机器的开发
随着对机器人、自动驾驶汽车(AV)和AI监控系统需求的增加,开发人员希望加速端到端工作流。
传感器数据对于训练、测试和验证从感知到规划和控制的全栈自主性至关重要。
Omniverse Cloud API能够连接丰富的模拟工具与应用的开发者生态系统(如Foretellix的Foretify™平台、CARLA、MathWorks等)与业界领先的传感器解决方案提供商(如FORVIA HELLA、Luminar、SICK AG和索尼半导体解决方案公司等),通过高保真、符合物理学的传感器仿真实现全栈训练和测试。
Omniverse Cloud API将首先在Microsoft Azure上提供,于今年晚些时候向开发者提供在NVIDIA A10 GPU上的自托管,或是NVIDIA OVX™上的托管服务。
微软Emerging Technologies公司副总裁Andy Pratt表示:“下一个工业数字化时代已经到来。通过Microsoft Azure上的NVIDIA Omniverse API,世界各地各个行业的企业可以连接、协作并改进其现有工具,创造出下一批AI赋能的数字孪生工具。”
使用Omniverse数字孪生深入改变各行各业
这些全新云API进一步完善了Omniverse,而此前Omniverse已被全球各个行业的领先企业广泛采用,例如 :
好文章,需要你的鼓励
这项研究由浙江大学、复旦大学等机构联合完成,提出了ReVisual-R1模型,通过创新的三阶段训练方法显著提升了多模态大语言模型的推理能力。研究发现优化的纯文本冷启动训练、解决强化学习中的梯度停滞问题、以及分阶段训练策略是关键因素。ReVisual-R1在各类推理基准测试中超越了现有开源模型,甚至在某些任务上超过了商业模型,为多模态推理研究开辟了新途径。
这项研究提出了一种名为"批评式微调"的创新方法,证明仅使用一个问题的批评数据就能显著提升大语言模型的推理能力。研究团队对Qwen和Llama系列模型进行实验,发现这种方法在数学和逻辑推理任务上都取得了显著提升,平均提高15-16个百分点,而且只需要强化学习方法1/20的计算资源。这种简单高效的方法为释放预训练模型的潜在推理能力提供了新途径。
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。