Nvidia近日对超逼真实时3D图形协作和模拟平台Omniverse进行了多项升级更新,包括为企业用户和创作者提供更高的性能和新的工具。
Nvidia Omniverse平台作为一种“元宇宙”平台,让艺术家、工程师、创作者和其他人可以在大规模虚拟世界中进行远程协作,重新创建和模拟他们可以想象的任何事物,例如汽车、飞机、建筑物和工厂等等。使用Omniverse Enterprise平台可以利用“数字孪生”完全模拟出工厂车间,让工业元宇宙能够像在现实世界中一样移动并且与实际物理环境进行交互。
本周,Nvidia在CES 2023大会的特别演讲中宣布对Omniverse Enterprise进行重大更新,包括支持新的GeForce RTX 4090和4080图形卡的Nvidia Ada Lovelace架构,以及最新的数据中心级OVX图形计算系统。
Omniverse生态系统还扩展到涵盖新的连接器,让艺术家和设计师们能够连接更多的软件,例如Adobe Substance 3D Painter、Autodesk Alias、PTC Creo和Kitware Paraview。
Nvidia还宣布全面推出Omniverse DeepSearch,这是一项人工智能服务,允许团队使用自然语言或者2D参考图像快速筛选大型的、未标记的3D模型数据库,从而找出完美的资产。使用该工具可以更轻松地显示和发现团队需要的模型,而无需花费数小时使用简单的文本一次一页地浏览目录进行搜索。
Omniverse平台的核心组件也得到了更新,包括Omniverse Kit软件开发工具包,现在可以更轻松地为Nvidia平台快速构建高级工具和应用。另外,Omniverse Create是一个用于创建大型3D世界的参考应用,现在增加了对DLSS3和多视角的支持,可以更轻松地创建大型的、复杂的资产。还有用于查看3D场景的参考应用Omniverse View也已经增加加了标记、注释和简单导航等功能,使演示文稿更具有交互性。
Omniverse Nucleus是与Omniverse Enterprise平台一起推出的数据库服务器和协作引擎,已经通过改进的IT工具进行了更新,例如扩展的版本控制和原子检查点,以及针对云、本地环境和混合工作流更新了大文件传输功能。
Zaha Hadid Architects是一家以各种独特文化建筑设计而闻名的建筑公司,该公司一直使用Omniverse平台来加速自身的设计和开发工作流程,同时也在开发他们的自定义工具,让该平台使用元宇宙风格的应用设计和构建建筑物的3D模型。
Zaha Hadid Architects公司副总监Shajay Bhooshan表示:“我们正在与Nvidia展开合作,将Omniverse作为我们技术堆栈的连接基础设施。我们的目标是在各个项目阶段保留设计意图并提高生产力。”
汽车制造商梅赛德斯奔驰同样一直在他们的全球工厂中使用Omniverse Enterprise平台,从而在全球制造工厂实现所谓的“工业元宇宙”。梅赛德斯奔驰公司借助Omniverse平台,可以在生产环境中使用全保真的数字孪生,让分布在全球各地的团队能够实时协作、修改装配线和生产线,并在不中断当前站点的情况下查看各项计划会给运营带来怎样的影响。
由于数字孪生与真实世界的工厂车间尽可能接近并精确模拟,因此设计师和工程师可以看到修改数字孪生会给真实世界怎样的影响,因此,一旦他们完成了模拟,就可以更好地预测工厂需要如何改变,然后再投入数百万美元或者数小时的工作时间来改变装配线。
Omniverse平台的创作者版还增加了面向动画师、创作者和开发人员的更新功能,提供了人工智能驱动的工具,其中包括Omniverse Launcher新增的生成功能,让用户在启动平台时就可以访问这些工具。
新工具包括Omniverse Audio2Face,这是一种支持人工智能的工具,可以从附加的音频文件中自动生成逼真的面部表情,这样创作者就不需要逐帧模拟他们自己的脸,而是让AI自动生成,他们只需要在这之后进行一些微调就行了。
除了Audio2Face之外,Audio2Gesture和Audio2Emotion也进行了性能上的升级,现在更易于集成了。Audio2Gesture可以创造逼真的上半身动作,Audio2Emotion则可以让角色根据声音表达逼真的情绪,例如快乐的表情或者悲伤的面部表情。
YouTube上一位网名为JSFilmz的热门创作者Jae Solina说:“对3D技能的需求正在飙升,但对某些人来说,学习3D可能是非常可怕的,而且绝对要耗费大量时间。但是,这些新平台的开发,不仅让创意人员和技术专业人员能够继续使用他们最喜欢的3D工具工作,而且还增强了他们的技能,甚至是使用AI来协助他们完成工作流程。”
这些AI辅助工具都已经添加到Nvidia Canvas中,让艺术家们可以生成整个景观并通过简单的笔触对其进行扩展。很快,所有使用RTX的用户都可以下载Canvas并创建全景环境,只需按几下按钮,即可创建AI生成的图像。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。