得益于 NVIDIA Research 新的 AI 模型,越来越多的公司和创作者创建的大型虚拟世界可以更轻松地填充一系列多种多样的 3D 建筑、车辆、人物等内容。
NVIDIA GET3D 仅使用 2D 图像进行训练,可生成具有高保真纹理和复杂几何细节的三维图形。这些 3D 对象的创建格式与热门图形软件应用所用的格式相同,允许用户立即将其形体导入 3D 渲染器和游戏引擎,以便进行后续编辑。
其所生成的对象可用于建筑、户外空间或整个城市的 3D 表现,为游戏、机器人开发、建筑和社交媒体等行业量身打造。
GET3D 可以根据受训练时使用的数据生成几乎无限量的三维图形。就像一位艺术家将一块粘土制成精细的雕塑一样,该模型会将数字转换为复杂的三维图形。
例如,借助 2D 汽车图像的训练数据集,它创建了轿车、卡车、赛车和面包车等系列集。当在动物图像上训练后,它会生成狐狸、犀牛、马和熊等生物。如果输入椅子时,模型会生成各种旋转椅、餐椅和舒适的躺椅。
本次发布相关精彩视频已在NVIDIA中国西瓜视频账号发布:
NVIDIA GET3D:为虚拟世界填充3D物体和人物的AI模型
视频下载地址:
https://pan.baidu.com/s/1BhubtKvRIUAoh67pG0U2zA?pwd=2a3L
提取码:2a3L
NVIDIA AI 研究副总裁 Sanja Fidler 负责领导创建此工具的多伦多 AI 实验室,她表示: “GET3D 让我们离普及 AI 驱动的 3D 内容创作更近了一步。它能够即时生成纹理化的三维图形,这可能会为开发者带来颠覆性的变化,有助于他们迅速填充包含各种有趣对象的虚拟世界。”
在 11 月 26 日至 12 月 4 日于新奥尔良(以及在线)举办的 NeurIPS AI 大会上,NVIDIA 有 20 多篇论文、专题研讨会, GET3D 就是其中之一。
打造虚拟世界需要多种 AI 类型
现实世界充满了多样性:街道上的建筑各有特点,各有不同的车辆则在其间呼啸而过,川流不息的人群更是异彩纷呈。为反映这一情景的 3D 虚拟世界进行手动建模非常耗时,因此难以填入详细的数字环境。
以前的 3D 生成式 AI 模型,虽然比人工方法更快,但在所能生成的细节水平上也被限制了。即使是最近的反向渲染方法也只能根据从多个角度拍摄的 2D 图像生成 3D 物体,这就需要开发者一次构建一个三维图形。
相反,在单个 NVIDIA GPU 上运行推理时,GET3D 每秒可生成大约 20 个形体,就像处理 2D 图像的生成式对抗网络一样,只是生成的是 3D 对象。作为学习来源的训练数据集更大、更多样化,输出也会更多样化,并且更详细。
NVIDIA 研究人员使用合成数据训练 GET3D,数据中包含使用不同摄像头角度拍摄的三维图形 2D 图像。该团队仅用了两天时间,就使用 NVIDIA A100 Tensor Core GPU,对模型进行了 100 万张图像的训练。
让创作者能够修改形状、纹理、材质
GET3D 的名称源于其能够生成显式纹理 3D (Generate Explicit Textured 3D) 网格,这意味着它会以三角形网格的形式创建形体并使用纹理材质覆盖,就像 papier-mâché 模型一样。这使得用户能够轻松地将对象导入游戏引擎、3D 建模软件和电影渲染器,并进行编辑。
在创作者将 GET3D 生成的形体导出到图形应用后,当这些物体移动或旋转时,就能使用逼真的照明效果。 通过整合 NVIDIA Research 提供的另一种 AI 工具 StyleGAN-NADA,开发者可以使用文本提示将特定风格添加到图像中,例如将渲染出的汽车调整为被烧毁的汽车或出租车,或将普通房屋设置成鬼屋。
研究人员指出,未来版本的 GET3D 可以使用摄像头姿态预估技术,让开发者能够使用真实世界的数据(而不是合成数据集)来训练模型。还可以对其进行改进以支持通用生成,这意味着开发者可以一次性训练用于各种三维图形的 GET3D,而不必每一次在一个对象类别上进行训练。
有关 NVIDIA AI 研究的新动态,请观看 NVIDIA 创始人兼首席执行官黄仁勋先生在 GTC 大会上发表的主题演讲回放。
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
IDEA研究院等机构联合开发了ToG-3智能推理系统,通过多智能体协作和双重进化机制,让AI能像人类专家团队一样动态思考和学习。该系统在复杂推理任务上表现优异,能用较小模型达到卓越性能,为AI技术的普及应用开辟了新路径,在教育、医疗、商业决策等领域具有广阔应用前景。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
上海人工智能实验室提出SPARK框架,创新性地让AI模型在学习推理的同时学会自我评判,通过回收训练数据建立策略与奖励的协同进化机制。实验显示,该方法在数学推理、奖励评判和通用能力上分别提升9.7%、12.1%和1.5%,且训练成本仅为传统方法的一半,展现出强大的泛化能力和自我反思能力。