得益于新的功能和工具,NVIDIA 实时 3D 设计协作和仿真平台现已正式发布,可供配备 RTX GPU 的 NVIDIA GeForce Studio 创作者使用。
NVIDIA Omniverse 旨在成为虚拟世界之间互联的基础平台,现已向数百万使用 GeForce RTX 和 NVIDIA RTX GPU 的个人 NVIDIA Studio 创作者正式发布。
在 CES 展会的特别演讲中,NVIDIA 还宣布了对 Omniverse Machinima 和 Omniverse Audio2Face 平台的更新,Nucleus Cloud 和 3D 市场等全新平台功能以及生态系统更新。
借助 NVIDIA 的实时 3D 设计协作和虚拟世界仿真平台 Omniverse,艺术家、设计师和创作者可以基于顶尖的设计应用,在笔记本电脑或工作站上创作 3D 素材和场景。
自一年前推出公测版以来,Omniverse 已被近 10 万名创作者下载,这些创作者利用此平台的基础渲染、模拟仿真和 AI 技术加速了工作流程。
数字艺术家和 Omniverse 创作者许喆隆表示:“借助此技术,内容创作者得到的不仅仅是一个高效的渲染器。NVIDIA Omniverse 和 RTX 为艺术家提供了一个具有无限可能性的强大平台。”
以许喆隆为代表的创作者将会使用 Omniverse 平台的工具为下一代网络构建和协作创造内容。他们正在为商业、娱乐、创意和工业等领域构建互连的 3D 虚拟世界。
这些无界的世界充满包括商店、家庭、人物、机器人、工厂、博物馆等在内数不胜数的 3D 内容。这种内容的制作过程十分具有挑战性,通常需要多个互相不兼容的工具协同工作。
Omniverse 会将这些独立的 3D 设计世界连接到共享虚拟场景。
作为 NVIDIA 20 多年开创性技术的结晶,Omniverse 将图形、AI、仿真和可扩展性计算整合到一个平台中,以加强现有的 3D 工作流程。
借助面向个人用户的免费版 Omniverse,GeForce RTX Studio 创作者可以将喜爱的 3D 设计工具连接至单个场景,并同时在两个应用之间创作和编辑。
请前往 nvidia.cn/omniverse 下载。
Omniverse Enterprise 是面向专业团队的付费订阅服务,于 2021 年 11 月在 GTC(GPU 技术大会)上发布,并通过 NVIDIA 的全球合作伙伴网络销售。今天发布的公告向个人创作者推出了 Omniverse 的各项功能。
Omniverse 新功能
Omniverse 中的新功能包括:
Omniverse 生态系统扩展
NVIDIA Omniverse 生态系统在扩展过程中采用了由许多合作伙伴构建的全新 Omniverse Connector、扩展程序和素材库。
目前,有 14 款连接器可以连接到 Autodesk 3ds Max、Autodesk Maya 和 Epic Games 的虚幻引擎等应用 - 还有更多连接器正在筹备中,包括即将推出的 Adobe Substance 3D 材质扩展程序。
最新发布的 Omniverse Connector、扩展程序和素材库包括:
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。