得益于 NVIDIA Research 新的 AI 模型,越来越多的公司和创作者创建的大型虚拟世界可以更轻松地填充一系列多种多样的 3D 建筑、车辆、人物等内容。
NVIDIA GET3D 仅使用 2D 图像进行训练,可生成具有高保真纹理和复杂几何细节的三维图形。这些 3D 对象的创建格式与热门图形软件应用所用的格式相同,允许用户立即将其形体导入 3D 渲染器和游戏引擎,以便进行后续编辑。
其所生成的对象可用于建筑、户外空间或整个城市的 3D 表现,为游戏、机器人开发、建筑和社交媒体等行业量身打造。
GET3D 可以根据受训练时使用的数据生成几乎无限量的三维图形。就像一位艺术家将一块粘土制成精细的雕塑一样,该模型会将数字转换为复杂的三维图形。
例如,借助 2D 汽车图像的训练数据集,它创建了轿车、卡车、赛车和面包车等系列集。当在动物图像上训练后,它会生成狐狸、犀牛、马和熊等生物。如果输入椅子时,模型会生成各种旋转椅、餐椅和舒适的躺椅。
本次发布相关精彩视频已在NVIDIA中国西瓜视频账号发布:
NVIDIA GET3D:为虚拟世界填充3D物体和人物的AI模型
视频下载地址:
https://pan.baidu.com/s/1BhubtKvRIUAoh67pG0U2zA?pwd=2a3L
提取码:2a3L
NVIDIA AI 研究副总裁 Sanja Fidler 负责领导创建此工具的多伦多 AI 实验室,她表示: “GET3D 让我们离普及 AI 驱动的 3D 内容创作更近了一步。它能够即时生成纹理化的三维图形,这可能会为开发者带来颠覆性的变化,有助于他们迅速填充包含各种有趣对象的虚拟世界。”
在 11 月 26 日至 12 月 4 日于新奥尔良(以及在线)举办的 NeurIPS AI 大会上,NVIDIA 有 20 多篇论文、专题研讨会, GET3D 就是其中之一。
打造虚拟世界需要多种 AI 类型
现实世界充满了多样性:街道上的建筑各有特点,各有不同的车辆则在其间呼啸而过,川流不息的人群更是异彩纷呈。为反映这一情景的 3D 虚拟世界进行手动建模非常耗时,因此难以填入详细的数字环境。
以前的 3D 生成式 AI 模型,虽然比人工方法更快,但在所能生成的细节水平上也被限制了。即使是最近的反向渲染方法也只能根据从多个角度拍摄的 2D 图像生成 3D 物体,这就需要开发者一次构建一个三维图形。
相反,在单个 NVIDIA GPU 上运行推理时,GET3D 每秒可生成大约 20 个形体,就像处理 2D 图像的生成式对抗网络一样,只是生成的是 3D 对象。作为学习来源的训练数据集更大、更多样化,输出也会更多样化,并且更详细。
NVIDIA 研究人员使用合成数据训练 GET3D,数据中包含使用不同摄像头角度拍摄的三维图形 2D 图像。该团队仅用了两天时间,就使用 NVIDIA A100 Tensor Core GPU,对模型进行了 100 万张图像的训练。
让创作者能够修改形状、纹理、材质
GET3D 的名称源于其能够生成显式纹理 3D (Generate Explicit Textured 3D) 网格,这意味着它会以三角形网格的形式创建形体并使用纹理材质覆盖,就像 papier-mâché 模型一样。这使得用户能够轻松地将对象导入游戏引擎、3D 建模软件和电影渲染器,并进行编辑。
在创作者将 GET3D 生成的形体导出到图形应用后,当这些物体移动或旋转时,就能使用逼真的照明效果。 通过整合 NVIDIA Research 提供的另一种 AI 工具 StyleGAN-NADA,开发者可以使用文本提示将特定风格添加到图像中,例如将渲染出的汽车调整为被烧毁的汽车或出租车,或将普通房屋设置成鬼屋。
研究人员指出,未来版本的 GET3D 可以使用摄像头姿态预估技术,让开发者能够使用真实世界的数据(而不是合成数据集)来训练模型。还可以对其进行改进以支持通用生成,这意味着开发者可以一次性训练用于各种三维图形的 GET3D,而不必每一次在一个对象类别上进行训练。
有关 NVIDIA AI 研究的新动态,请观看 NVIDIA 创始人兼首席执行官黄仁勋先生在 GTC 大会上发表的主题演讲回放。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。