当业界都在谈论大模型的时候,曾经火热的元宇宙热度下降。这是否预示着元宇宙就像烟花一样转瞬而逝呢,答案显然是否定的。至少在NVIDIA看来,元宇宙具有蓬勃的生命力。
工业元宇宙观
目前,我们看到,现有互联网内容还是以图片、2D视频、文字为主。NVIDIA认为,元宇宙是互联网的3D内容演变。未来的互联网传输内容中会有大量的3D内容,3D内容会让现有行业产生新的演变。
对于一项新技术,如果无法与具体的应用场景相结合,那价值也就无法体现,于是所谓的泡沫问题也就出现了。
元宇宙落地需要几个条件:开放的标准,就像互联网时代的HTML,3D内容时代需要新的数据交互传输格式;可扩展、可加速的时间精准系统,与现实世界完美同步;遵循物理世界的实时仿真,虚拟世界自然而然也需要遵守物理学;人工智能辅助产生相应的3D数字内容。
既然我们明确了元宇宙的落地条件,那么元宇宙的落地也就可以一步一步进行落地。而工业场景则是元宇宙最佳的试验场。
为什么这样说呢?因为在工业元宇宙这一概念之前,工业数字孪生其实已经出现了。而工业元宇宙与工业数字孪生又存在诸多交集,比如完全逼真的可视化、自定义编排的3D工作流、合成数据生成SDG(Synthetic Data Generation)。
大规模的实时数字孪生可将运营效率提升到新高度。通过部署在NVIDIA OVX上的NVIDIA Omniverse Enterprise,各大企业可以开发物理精准、AI 赋能且与现实世界完全同步的虚拟仿真。
全面布局元宇宙
在元宇宙进入公众视野之前,NVIDIA就已经着手相关的技术开发以及储备,走一条技术和实用导向的路线。
2019年,NVIDIA第一次把Omniverse平台介绍给公众;2021年,Omniverse Enterprise正式发布;2022年,Omniverse Cloud云平台发布,使Omniverse具备了更多云属性,同年,NVIDIA OVX系统发布,带来了专门经过优化的硬件计算平台。
从这样的路线我们可以看出NVIDIA的元宇宙布局始终围绕Omniverse,其已经成为NVIDIA在元宇宙开疆拓土的重要抓手,目标成为元宇宙时代的操作系统。
NVIDIA Omniverse是为了打造具有物理规则的虚拟世界/元宇宙而诞生,Omniverse在虚拟世界里进行AI训练和反馈,可以模拟真实世界里的物理特性,为真实世界的生产增加效率。
结合前面提到元宇宙落地的条件,Omniverse平台其实就是结合众多要素,比如支持USD(Universal Scene Description,通用场景描述)文件格式、具备可扩展性的认证硬件平台以及不断扩大的第三方生态系统,从而加速元宇宙在行业中的落地。
其中,USD是基石,一种能在软件套件之间建立互操作性的3D语言。类似微软Office的OneDrive,共享文件并设定不同的权限。Omniverse能够读懂USD内容,可以实现更广泛的软件支持;Omniverse平台还支持低代码开发,方便开发自己想要的服务或者插件。
USD远不止是一种静态文件格式。它是一个3D合成引擎,是整合了用于虚拟世界合成、编辑、查询、渲染、协作和模拟技术的API,其核心是一种开放、可扩展的3D世界语言。NVIDIA Omniverse既是一个USD平台,也是一个用于构建元宇宙应用的工具包和用于运行虚拟世界的计算引擎。
为了更好地运行Omniverse平台及其软件,解决数字孪生相关的大规模部署应用测试,NVIDIA OVX应运而生。目前,OVX已经迭代到3.0,成为元宇宙的最佳应用实践平台。客户可利用第三代OVX系统,在实际部署或落地前,通过沉浸式数字孪生对工厂、城市、自动驾驶汽车等进行建模,以加速工作流、优化模拟效果,最大程度地提高运营效率和预测规划能力。
从软件Omniverse Enterprise到硬件OVX,再到云服务Omniverse Cloud。综合来看,NVIDIA在元宇宙方面的布局逐渐清晰,融合自身在图形计算以及AI、GPU技术方面得天独厚的优势,为各行各业的企业带来一站式解决方案。
在生态建设方面, 去年NVIDIA宣布进一步扩展和西门子合作伙伴关系,将西门子Xcelerator和NVIDIA的Omniverse平台连接起来,共同打造工业元宇宙。西门子是工业自动化软件基础设施、建筑技术和交通领域的领先者,再结合NVIDIA在加速图形和人工智能领域的成果,使得各种规模的工业客户能够构建实时完整设计保存AI加速的数字孪生系统,带来生产和产品生命全周期的运行效率,生产力和流程改进。
现实中的工业元宇宙
Omniverse是NVIDIA 25年来在图形学、加速计算、模拟和AI技术领域的结晶,可赋能制造业企业以完全虚拟的方式来规划和优化价值数十亿美元的工厂项目,以使工厂能够更快投入生产并更有效率地运作、缩短产品上市时间,并提高工厂的数字化程度与可持续性。
工业元宇宙已经来到我们身边,很多大型企业采用Omniverse建设数字孪生或者工业元宇宙,比如宝马集团建造了数字工厂,将整个汽车流水线涉及到的环境、设备、人员等都预先在虚拟世界里面做好演练,再进行真实世界的工厂部署;亚马逊在建设仓储系统时,也用到了Omniverse,它们调用专用的机器人仿真应用Isaac Sim,在虚拟环境中对仓储机器人进行测试。
值得一提的是宝马集团的数字孪生工厂,宝马集团在全球拥有31家工厂,40个不同车型的2100多种可能的车型配置,年产量能够达到250万辆,99%都是定制化的生产,是全球最大的汽车定制制造公司之一。
在这样的规模下生产定制车辆,需要在整个制造过程拥有极高的灵活性和敏捷性。现在宝马集团已经实施了一套完整的端到端的数字孪生工厂管理系统,将现实和虚拟现实、机器人技术,以及人工智能相结合。
这套实时的数字孪生系统涉及NVIDIA的软硬件,利用Omniverse的数字孪生综合平台,在其全球生产网络中设计、训练、构建和仿真以及最后部署运行工业的元宇宙应用,利用虚拟世界来优化整个工厂布局、机器人的开发和物流系统。在硬件装配和编程之前对虚拟环境对整个流程进行验证,使得生产系统的返工、修工改进接近于零,同时实现接近零成本损失的工厂启动工作。
此外,宝马集团需要定期重新配置生产产线来适应新车型的推出,以往这个过程中物理生产线设计和配置需要根据新的配置来进行停机停产,导致效率十分低下。所有的规划团队也通常需要在同一地点来进行设计以及测试新的生产线。随着电动车和混合动力车型的整合,将使得这个过程更加得复杂,因为增加了各种新的零部件和新的流程。
现在在数字孪生工厂之中,可以利用协同协作的优点,让不同地点的规划专家使用Omniverse平台来进行实时测试和调整新的生产线的设计。所带来的好处就是能够打破时间和空间上不同人员规划上的限制,基于数字孪生的实时内容驱动的布局和流程的评估,加快了整体的实验和决策的过程,最后工厂运行的布局、流程,还有整体的运行成本都大大地降低。
通过在NVIDIA Omniverse平台上来运行Isaac Sim,可以进行机器人仿真,宝马集团也部署了一支智能机器人队列,来改进和优化物料的流动。通过Replicator来进行合成数据生成,让深度学习的AI模型可以通过生成数百万张合成的逼真图像来改变这里的环境纹理、方向、照明的条件等等,来训练机器人去满足各种各样不同的环境变化。通过Omniverse平台就可以提前规划和优化机器人的运动和物料的流动,通过合成数据来进一步加速机器人的训练和它的行动规划,降低成本和浪费以及加速整体的决策过程。
汽车是最复杂的工厂数字孪生行业,数字化水平也是最高,汽车工厂全面迈向工业数字孪生和工业应用。
除了汽车行业,作为美国第二大家居装修零售集团,美国劳氏集团也开始利用数字孪生和人工智能实现零售店的规划。通过使用USD综合工作管线,汇总来自于Maya、AutoCAD等工具完成资产的整合,同时使零售店员和规划者能够实时协作,了解销售业绩,并识别异常情况,同时能够运行CI/CD的流程。在对店铺进行任何实际改变之前,可以测试和验证数千种产品的布局,通过Omniverse用以往无法实现的方式将店铺数据整合到一起。
利用零售店的数字孪生技术可以捕获客户的购物数据,来改进店铺的布局和提供更好的购物体验。比如可以利用Omniverse来进行三维可视化模拟,将之前独立的数据整合起来,并挖掘它们之间的联系。
同时,还可以模拟店铺的流量,作为AI模型的训练数据。通过现实的3D扫描设备,将实际的装修物料应用到虚拟的厨房或者浴室之中进行提前的感官上的体验。利用增强现实的设备,能够看到销售业绩和客户流量的数据,还可以看到顾客的动线。
在传统的过程中,整个商店的运营复杂流程由各种不相连的商业专有的3D和仿真工具组成,团队在跨部门的数据移动和共享方面会遇到困难。通过Omniverse的USD综合管线来创建零售商店的数字孪生,使得员工和规划者能够实时协助,同时模拟商店的动线和流量来训练AI模型,优化机器人的导航,以及识别客户何时需要帮助等等。
在交通领域,德国铁路局借助数字孪生可以用于检测和实验整个铁路线网的网络,实现车辆和铁路的持续改进,最大程度提高运行的效率和速度,降低运营成本。现在德国铁路局整个数字孪生的铁路线网已经覆盖到5700座车站和33000公里的铁路线网。除了仿真之外,数字孪生系统还为训练完全自动化的铁路系统复杂的AI模型提供了一个很好的环境。
德国铁路局数字孪生系统运行在OVX上面,通过5G信号传感器和边云基站,数字孪生基站可以与现实世界的火车和铁路连网进行同步。如果火车上的相机或者激光雷达传感器检测到了潜在的危险,其精确位置可以迅速传递给网络中的其它火车,防止碰撞或者拥堵。如果站点AI计算机视觉相机注意到其它任何异常问题,也可以触发事件来通知工作人员。同时,智能传感器在真实世界和由Omniverse Replicator生成的合成数据组合上进行训练和优化,确保AI模型在面对任何情景时都能够感知、规划和运行。
在仓储物流行业,作为全世界最大的电商平台之一,亚马逊拥有超过200多个配送中心,每天需要处理数千万个包裹,这是复杂的运营管理任务,在200多个配送中心之中需要超过50万台移动机器人来支持整个仓库的物流系统运转。
亚马逊机器人现在也在利用NVIDIA Omniverse和Isaac Sim构筑仓储中心的数字中心,更好优化仓库的设计和流程,训练更智能的机器人助手,来提高整体的生产力。在某个应用案例之中,亚马逊团队需要改进一个神经网络模型的性能,能够帮助读取确定机器人在仓库中心地图上的位置,利用Isaac Sim的仿真平台,亚马逊生成大量逼真的合成数据集,将之前标记的检测成功率从88.6%提高到98%,同时,利用Omniverse生成的合成数据,将整体的AI检测算法开发时间从几个月缩短到几天。能够更快迭代测试训练模型,而不仅仅只是在真实环境下的一个数据采集。通过借助Omniverse平台的数字孪生系统,亚马逊机器人拥有高保真度和仓库的数字孪生,优化了整体的运营效率,节省了时间和成本。
亚马逊将各种各样不同的机器人深入到各种仓储中心之前,就可以在数字孪生对各种软硬件的配置进行验证,避免真实系统的宕机失效,最大化整体的运行效率,同时展示了通过数字孪生系统来生成不同形状大小重量的包裹来训练和检验自动分拣的效果。
亚马逊机器人管理了全球最大规模的移动机器人编队,在传统的过程当中无法将3D数据汇集到统一的管道和训练的模型之中,同时没有足够的数据,足够精确的采集数据来支撑AI模型的训练和感知。通过数字孪生系统可以将多个不同CAD应用程序的数据来集中到高保真度的仓储中心数字孪生系统中心,通过数字仿真了解整体仓库的性能优化,整体设计,通过合成数据的生成来提升感知模型的训练精度,来缩短运行的时间。
前面我们提到西门子与NVIDIA在工业元宇宙方面展开了深入合作,其实西门子自身也在积极借助Omniverse优化自身业务。比如西门子能源通过利用NVIDIA数字孪生技术,包括Omniverse数字仿真以及Modulus数字物理模拟仿真,可以将整个回热锅炉管道腐蚀预测以前按周期计算的时间缩短到小时级别的时间;西门子能源通过NVIDIA的Omniverse平台和Modulus技术模拟仿真模拟不同风力和天气条件下的涡轮机之间的影响,优化风力发电厂的布局来去减少运营成本。
结语
未来已来,只是分布不均。元宇宙就是如此。
元宇宙不光在于数字世界如何基于物理进行准确的模拟仿真,还需要实现不同数字世界之间以及数字世界和物理世界之间的连接和交互。
NVIDIA不断地探索、拓展Omniverse平台的应用,通过Omniverse这个巨大的生态连接平台推动工业数字孪生的发展。
好文章,需要你的鼓励
随着AI的使用、创新和监管混乱超过认可的标准,IT领导者只能开发内部方法来减轻AI风险,依靠框架、工具和他们的同事来正确使用AI。
几年前,当澳大利亚红十字会(Australian Red Cross)这个社区服务慈善机构开始进行数字化转型的时候,发现有很多不同的系统无法协同工作。如今,经过数据梳理和发挥作用,可以满足不断变化的需求。
在此次活动中,IBM展示了最先进的IBM Quantum Heron计算机是如何以比以前更高的精度和速度执行复杂的量子算法,同时为进行高级分子模拟的新方法铺平了道路。
想象一下,一个人工智能系统不仅能阅读文本或识别图像,还能够同时读、写、看、听和创造。这其实就是多模态人工智能的精髓。这些先进的多模态人工智能系统可以同时处理和整合多种形式的数据,包括文本、图像、音频甚至视频。这就像是赋予了人工智能一整套的感官。