SIGGRAPH是计算机图形图像技术领域中富有盛名的大会,在今年的SIGGRAPH 2022上,英伟达(NVIDIA)围绕元宇宙公布了众多创新产品,让我们更快拥抱元宇宙。
元宇宙平台Omniverse迎来重磅更新
Omniverse是基于通用场景描述(USD)连接和构建元宇宙世界的平台。Omniverse已被全球约700家领先的公司用于改进建筑和产品设计、简化视觉效果工作流程以及构建工厂、城市和地球的数字孪生。
在SIGGRAPH上,NVIDIA为Omniverse提供了一系列新的开发者框架、工具、应用和插件。
例如用于构建和部署逼真虚拟助手和数字人的云原生AI模型和服务NVIDIA Omniverse Avatar Cloud Engine(ACE),以及用于构建本地Omniverse扩展和应用程序的工具包Omniverse Kit:PhysX和全新OmniLive Workflows。
此外,Omniverse Audio2Face是直接通过音频文件创建面部动画的AI工具;Omniverse Machinima是用于轻松构建3D电影和动画电影的应用;DeepSearch AI 3D搜索引擎。
物理机器学习框架NVIDIA Modulus现已可用为Omniverse扩展程序。经Modulus训练的物理机器学习模型可提供近实时的性能,根据不同的应用,其速度可提高4000甚至100000倍,并且具有前所未有、更接近高保真模拟的准确性。Modulus是NVIDIA Earth-2等科学数字孪生的基石之一。
仿真模拟技术是实现元宇宙的关键,在元宇宙世界中用于表示材质、物理和光线。NVIDIA也公布了MDL、NeuralVDB等技术更新。
其中,NVIDIA MDL一直支持物理级精确的3D材质表现,现已完全开源,使开发者能够为任何渲染器带来材质定义语言支持。
即将发布公测版的NeuralVDB是OpenVDB的下一个升级版本。它为稀疏体积数据集带来了AI和GPU优化,并将这些海量数据集的内存占用率降低了多达100倍。
NVIDIA Omniverse和仿真模拟技术副总裁Rev Lebaredian表示:“元宇宙蕴含的商机价值数万亿美元,任何企业机构都不愿错过它,但许多企业机构找不到加入它的明确途径。NVIDIA Omniverse缩小了物理世界和虚拟世界之间的差距,这些新的工具、技术和合作项目让我们在今天就可以迈入3D互联网。”
让虚拟助手和数字人通过图灵测试
随着AI技术的日渐成熟以及深入应用,虚拟数字人在自然交互等方面的难点有望持续突破。同时AI技术可大幅降低制作工作量和边际成本,促使更多创新性应用成为可能,进而加速虚拟数字人产业落地并广泛应用于多元化的场景。
前面我们提到NVIDIA Omniverse Avatar Cloud Engine(ACE) ,这套云原生AI模型和服务能够让用户更轻松地构建和自定义栩栩如生的虚拟助手和数字人。
通过将这些模型和服务迁移到云端,ACE使任何规模的企业都能够立即获得创建并部署助手和虚拟形象所需的大规模算力。这些助手和虚拟形象能够理解多种语言、响应语音提示、与环境互动并提供智能建议。
NVIDIA ACE结合了许多复杂的AI技术,使开发者创造出将能够通过图灵测试的数字助手。
ACE建立在NVIDIA的统一计算框架基础之上。该框架为用户提供丰富的软件工具和API,使他们能够使用各种用于创建高度逼真的全互动式虚拟形象的技能。这些工具包括用于开发语音AI应用的NVIDIA Riva、用于计算机视觉和智能视频分析的NVIDIA Metropolis、用于高性能推荐系统的NVIDIA Merlin、用于自然语言理解的大型语言模型NVIDIA NeMo Megatron以及用于AI赋能动画的NVIDIA Omniverse。
NVIDIA的Project Maxine和Project Tokkio是建立在ACE上的两个应用。Project Maxine为虚拟协作和内容创建应用带来了最先进的视频和音频功能。Project Tokkio赋予交互式虚拟形象以视觉、感知和智能对话能力,并使虚拟形象能够提供建议,以提高餐厅等场所的客户服务水平。
开放元宇宙和3D互联网的基础——USD
我们看到此次针对Omniverse的扩展包括多项AI工具和功能,它们让艺术家、开发者和工程师能够比以往更加轻松地构建虚拟世界和内容,并且更加无缝地连接当今领先的3D应用,包括PTC Creo、SideFX Houdini、Unity以及来自西门子Xcelerator平台的解决方案。
在这一实现过程中,通用场景描述(USD)是关键。媒体、游戏、机器人、工业自动化、零售和百货行业的创新者已经开始将USD作为他们首选的元宇宙语言,其中包括沃尔沃汽车和Kroger。
在SIGGRAPH上,NVIDIA公布了即将到来的推动USD发展的更新,包括:让所有国家和语言的用户都能参与USD的国际字符支持、实现城市规模和行星规模数字孪生的地理空间坐标支持以及实现数字孪生与物理世界同步发展的物联网数据实时流式传输。
NVIDIA还在SIGGRAPH上汇集了USD生态系统中的数百名工程和产品负责人,并组成工作委员会,帮助NVIDIA调整USD开发的优先事项并获取关于重点开发方向的反馈。
NVIDIA将与USD的发明者皮克斯以及Adobe、Autodesk、西门子等多家行业内领先的企业合作,实施一项多年发展路线图,将USD的功能扩展到视觉效果应用之外,使其能够更好地支持建筑、工程、制造、科学计算、机器人、工业数字孪生等领域的工业元宇宙应用。
NVIDIA还与工业、设计、模拟和CAD软件生态系统中的合作伙伴一同发布了11个新的Omniverse连接器(Connector),这些基于USD的插件进一步向工业界和科学界的公司开放Omniverse工作流程。Omniverse USD生态系统中的连接器总数现已达到112个。
PTC Creo、Visual Components和SideFX Houdini的公测版Omniverse连接器现已上线。NVIDIA宣布正在为Blender、Autodesk Alias和Autodesk Civil 3D、Siemens JT、SimScale Open Geospatial Consortium以及Unity开发连接器,进一步解锁制造、工程和设计企业的元宇宙工作流程。
为了加速USD的开发和采用,NVIDIA还宣布开发一个开放的USD兼容性测试和认证套件,开发者可以自由使用该套件来测试他们使用USD构建的项目并验证结果是否符合预期。
同时,NVIDIA正在发布一系列免费资源来加速USD的采用范围,其中包括数千种专门用于帮助不具备3D专业知识的用户构建开放虚拟世界的USD资产。NVIDIA还提供数百个可按需选择的教程、文档和开发者工具来帮助普及USD教育。
NVIDIA还宣布投资构建能够将流行的3D软件生态系统连接到NVIDIA Omniverse的USD插件。新发布的公测版有PTC Creo和SideFX Houdini,此外,为Autodesk Alias和Autodesk Civil3D、Siemens Xcelerator等打造的插件正在开发中。
NVIDIA Instant NeRF赢得SIGGRAPH最佳论文
3D内容创作者纷纷开始使用逆向渲染工具NVIDIA Instant NeRF ,它能够将静态图像变成逼真的3D场景。
自今年早些时候首次发布以来,全球已有数万名开发者下载了Instant NeRF的源代码,使用它渲染出美轮美奂的场景,并在社交媒体上分享精彩的作品。
Instant NeRF 的学术研究于8月8日至11日在温哥华和线上举行的SIGGRAPH上凭借其对计算机图形研究的未来发展所做出的贡献而被评为最佳论文,据悉今年仅有五篇论文入选该奖项,这篇论文也是NVIDIA著作者在本次大会上发表的17篇论文和研讨会论文之一,这些论文涵盖了神经渲染、3D模拟、全息技术等主题。
结语
元宇宙下物理世界和虚拟世界加速融合,NVIDIA以Omniverse为抓手,不断延展Omniverse的功能,同时扩展Omniverse生态,加速元宇宙的应用开发。展望未来,虚实融合的元宇宙世界正在向我们快速走来。
好文章,需要你的鼓励
GSMA发布了《运营商实践:AI大模型赋能垂直行业标杆案例集》。报告涵盖了政务、客服、工业、医疗教育、文旅、城市治理等多个领域的案例研究,同时为进一步扩大跨行业应用提供了实践指导。
许多首席信息官向同行学习更多的人工智能知识,但只有少数人认为其他首席信息官比他们懂得更多。这个问题也许只有自我教育才能解决。
中国的机器人在海外之所以卖得这么好,除了质量过硬外,也与智能机器人能切实降本增效有关系。傅盛称,海外由于人工成本较贵,例