3D制作团队规模庞大、制作流程复杂,地点分散,如何应对CG创作中多软件协同建模、渲染、迭代?NVIDIA Omniverse给出答案。
Omniverse是一个可轻松加速设计工作流程、实现实时协作的开源云原生平台,用虚拟世界连接世界各地的团队及成员,专业人员可通过照片级逼真的实时渲染一起开展项目,实现更轻松、更高效的协作。同时,Omniverse让元宇宙(Metaverse)概念引领生产力的提升,助力多个行业领域实现降本增效。
目前,Omniverse已在部分CG创作项目中率先使用,并在多部精彩作品中创造了大量震撼炫酷的特效。其中,近期推出的中国探月官方纪录片《飞向月球》第二季,运用了Omniverse、物理渲染、实时光线追踪等多项黑科技,首次将AI超写实数字人应用在4K科学纪录片中,为观众带来了逼真的视觉效果以及沉浸式的观赏体验。
在近日举行的《对话Omniverse先锋人物》活动上,NVIDIA中国区传媒娱乐行业经理何展,中央广播电视总台IMR系统技术负责人王子建,3D艺术家光叔,资深视效总监、视效制片人高枫,Autodesk技术销售专家、前中央电视台三维特效制作部门负责人沈映,XGRIDS总经理、CloudMinds首席架构师赵开勇,NVIDIA高级解决方案架构师宋毅明等众多嘉宾分享了他们的内容创作体验以及对于Omniverse的使用感受。
Omniverse化解CG行业的痛点
在Autodesk技术销售专家、前中央电视台三维特效制作部门负责人沈映看来,CG行业的痛点主要有两个:一个是处理大数据的算力,一个是如何应对大规模生产的团队协作。而Omniverse平台正好解决这两个问题。
Omniverse平台的RTX Server从硬件方面给算力提供了一个保障,并支持本地、私有云或者公有云的部署。而在协同方面,Omniverse支持元宇宙(Metaverse)文件框架——USD(Universal Scene Description,通用场景描述),这是行业已经公认的未来流程协作的数据格式。
视效行业本质上就是属于CG一部分,视效工作是线性的流程,在定期的视效流程里面非常强调的是如何能够做到实时交互和协同。
资深视效总监、视效制片人高枫表示,Omniverse的协作功能非常强大。视效管理的沟通成本非常高,因为涉及艺术家、导演、总监等多个角色。而且大家来自天南海北,可能存在时差、语言沟通、文化体系上的问题。如果有一个协同平台,不管是总监对总监,还是总监对导演,我们可以用在对方屏幕上直接实现想要的东西,这样可以减少很多的沟通成本。
除了沟通方面,影视行业应用的软件非常多,软件应用之间的互操作性非常重要。此外,影视行业的算力要求也非常高,因为视效项目的文件非常大,渲染工作非常考验算力。
中央广播电视总台IMR系统技术负责人王子建补充说,对于视效工作,一方面是将原始数据转化为项目资产,这就需要一些AI技术进行数据处理。另一方面是项目文件格式,保证在工作流中无缝运行。
NVIDIA高级解决方案架构师宋毅明表示,Omniverse平台就是为了解决上述设计人员的痛点,通过强大的GPU加速计算支持强大算力需求,并通过支持USD解决跨软件之间的互操作问题。
Omniverse的根本性突破是让用户轻松实现软件应用之间的并行工作。其实这得益于NVIDIA采用皮克斯的通用场景描述(USD)标准建立了Omniverse平台,创造出一个能够加快远程办公协作、实现大规模高精度物理模拟、以及训练机器人或自主机器的实时共享3D世界。USD和NVIDIA Omniverse可以为创意人员、工程师等群体实时连接许多原本不兼容的各种专业工具。
创作者、设计师和工程师可以通过多个Omniverse Connectors使用领先的行业软件应用,如Autodesk Maya和Revit、Adobe Photoshop、Substance Designer、Substance Painter、McNeel Rhino、Trimble SketchUp和Epic Unreal Engine等。目前还有多款软件应用还在开发中,包括Blender、Houdini、3ds Max和Motion Builder。
3D艺术家光叔表示,Omniverse平台支持USD通用格式,它的实时光线追踪效果非常棒。Omniverse平台能做的事情不光是渲染,还有很多的潜力可以去挖掘。“Omniverse基于USD格式和RTX技术,能够让我们在虚拟世界里面找到熟悉的感觉,这是我非常喜欢的一个地方。”
XGRIDS总经理、CloudMinds首席架构师赵开勇说,Omniverse平台将3D模型和建筑设计结合,而且USD把所有的3D格式统一起来,能够帮助设计团队进行协同工作。
Autodesk技术销售专家、前中央电视台三维特效制作部门负责人沈映表示,Autodesk研发团队从前年开始就已经加入到Omniverse平台的协同工作。整个行业其实都意识到团队协作应该是下一步流程升级的一个重点。所以与Omniverse是Autodesk未来长期发展的关注点之一。
Omniverse与元宇宙(Metaverse)
目前,NVIDIA Omniverse生态系统正在不断发展,连接着来自Bentley Systems、Adobe、Autodesk、Epic Games、ESRI、Graphisoft、Trimble、McNeel & Associates、Blender、Marvelous Designer、Reallusion等软件公司的业内领先应用。
Omniverse将计算、图形、AI进行融合,并且实现快速的应用,是元宇宙(Metaverse)的开始,支持在未来世界里生成元宇宙数字虚拟世界。
赵开勇说,Omniverse把CUDA高性能计算平民化,再通过集成式的Deep Learning集成显卡把AI平民化,进而把3D设计创作或者3D艺术效果平民化。“通过基于USD格式的流程管理,Omniverse把3D行业完全流程化、统一,不管是物理的特效还是真实世界的3D模型,也就是把格式、流程、动作、光影效果完全结合到一起。”
高枫表示,在视效人的概念中,元宇宙(Metaverse)相当于是一个“库”,变成一个真正的“数字工地”,降低生产环节的成本。
此外,Omniverse包含包括专为建筑、工程和施工专业人员设计的Omniverse View;专为媒体、娱乐和制造/产品设计行业的设计师、创作者和专家设计的Omniverse Create;以及专为3D深度学习研究人员设计的Omniverse Kaolin。
总之,Omniverse平台的开放性提供了更多的可能性,我们的物理世界在数字化,而这与创意的数字世界可以碰撞出火花,两者之间互相发生作用,数字孪生下元宇宙(Metaverse)的想象空间巨大。
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。