Neuralangelo是NVIDIA Research 开发的一个全新AI模型,它利用神经网络进行3D重建,可将2D视频片段转换为详细的3D结构,为建筑物、雕塑以及其他真实物体生成逼真的虚拟复本。
就像米开朗基罗用大理石雕刻出令人惊叹、栩栩如生的雕塑一样,Neuralangelo能生成具有复杂细节和纹理的3D结构。随后,创意人士可以将这些3D物体导入设计软件中,对其进行进一步编辑,用于艺术、视频游戏开发、机器人和工业数字孪生。
Neuralangelo将复杂材料——包括屋顶瓦片、玻璃板和光滑的大理石——的纹理从2D视频转换为3D物料的能力大大超过了以前的方法。高保真度让开发者和创意专业人士更容易进行3D重建,使用智能手机拍摄的视频快速为项目创建可用的虚拟物体。
NVIDIA Research高级研究总监、上述论文的合著者刘洺堉表示:“Neuralangelo的3D重建能力将使创作者受益匪浅,能够帮助他们在数字世界中重建现实世界。这个工具最终将使开发人员能够将详细的对象——无论是小雕像还是大型建筑——导入到虚拟环境中,用于电子游戏或工业数字孪生。”
在一次演示中,NVIDIA研究人员展示了该模型如何重建米开朗基罗“大卫像”这样的标志性物体以及平板卡车这样的普通物体。Neuralangelo还可以重建建筑物的内部和外部——以NVIDIA湾区办公园区的详细3D模型为例进行了演示。
本次发布相关精彩视频已在NVIDIA中国西瓜视频账号发布:
数字文艺复兴:NVIDIA Neuralangelo研究重构3D场景
在3D中应用神经渲染模型
之前用于重建3D场景的AI模型很难准确捕捉重复的纹理、均匀的颜色和强烈的颜色变化。Neuralangelo采用即时神经图形基元——即NVIDIA Instant NeRF背后的技术——来帮助捕捉这些更精细的细节。
使用从不同角度拍摄的物体或场景的2D视频,该模型会选择从不同角度捕捉的镜头来确定物体或场景的深度、大小和形状,就像艺术家会从多个角度描绘一个物体一样。
一旦确定了每个镜头的相机位置,Neuralangelo的AI就会创建一个粗略的3D场景,相当于雕塑家开始雕刻主体的形状。
然后,该模型对渲染进行优化以锐化细节,就好像雕塑家辛苦雕琢石头来模仿织物或人的纹理。
最终会生成一个3D物体或大规模场景,可用于虚拟现实应用、数字孪生或机器人开发。
在6月18-22日举行的CVPR大会上探寻NVIDIA Research的研究成果
在6月18日至22日于温哥华举行的CVPR上,NVIDIA Research将展示近30个项目,其中包括Neuralangelo。这些论文的主题涵盖姿态估计、3D重建和视频生成。
其中一个名为DiffCollage的项目是一种创建大规模内容的扩散法,包括长横向、360度全景图和循环运动图像。当输入一个具有标准长宽比的图像训练数据集时,DiffCollage将这些较小的图像视为更大视觉片段的一部分——就像一张张拼贴画。这使得扩散模型能够生成看上去有凝聚力的大型内容,而无需使用相同比例的图像进行训练。
该技术还可以将文本提示转换为视频序列,技术演示中使用了预先训练的扩散模型来捕捉人体动作:
本次发布相关精彩视频已在NVIDIA中国西瓜视频账号发布:
了解有关NVIDIA Research参展CVPR的更多信息。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。