NVIDIA在夏季的多场顶级图形大会上展示其如何为艺术家、创作者和游戏玩家推动实时路径追踪和内容创作工具的发展
计算机图形和AI是NVIDIA的基石,两者的强强结合助力创作者距离实现实时渲染影院级3D图像的目标迈进。
在今年夏天举行的一系列图形学大会上,NVIDIA研究团队分享了实时路径追踪和内容创建方面的开创性工作,其中的大部分工作都是基于最先进的AI技术。这些项目使用推动实时渲染技术发展的新工具解决图形学领域最棘手的问题。
其中一个项目的目标是提高渲染光线在穿过毛皮或雾气等复杂素材时的真实性。另一个目标是帮助艺术家更轻松地将他们的创意设想转化为栩栩如生的模型和场景。
在本周举行的SIGGRAPH 2021大会以及最近举行的高性能图形学大会和欧洲图形学渲染研讨会上,这些研究进展突显了NVIDIA RTX GPU如何继续推进逼真实时图形学的前沿。
要想实时渲染逼真的图像,就必须对光线进行精准的模拟,按照物理世界中的光线规律进行建模。目前,路径追踪是已知的最有效的方法,而这需要消耗大量的计算资源,不过可以呈现出美轮美奂的图像。
NVIDIA RTX平台带有专门的光线追踪硬件和高性能Tensor Core,能够高效评估AI模型,堪称为这项任务的量身定制。但在有些情况下,创建高清渲染图像仍具有挑战性。
比如一只在树林中潜行的老虎。
看清光线:实时路径追踪
为了使一个场景完全逼真,创作者必须渲染复杂的照明效果,如反射、阴影和可见的薄雾。
在森林场景中,斑驳的阳光透过树叶,与浓雾中悬浮的水分子交织成朦胧的画面。之前的技术无法实时渲染云层、尘土飞扬的地面或雾气等逼真的图像。但是NVIDIA研究人员开发了一些技术,通常能够将这些现象的视觉效果计算效率提高10倍。
老虎本身既被阳光照耀,又被树木遮挡。当它穿过树林时,其倒影在下面的池塘中清晰可见。为了实现这种具有直接和间接反射的丰富视觉效果照明,需要为场景中的每个像素计算数千条路径。
这项任务耗费的资源过多,因此无法实时完成。为此,NVIDIA研究团队创建了一种路径采样算法,这种算法优先考虑最有可能对最终图像作出贡献的光线路径和反射,并且其图像渲染速度比之前快了100倍以上。
老虎的AI:神经辐射缓存
另外一组NVIDIA研究人员利用一种名为神经辐射缓存的新技术在全局照明方面取得了突破。这种方法同时使用了用于光线追踪的NVIDIA RT Core和用于AI加速的Tensor Core,在渲染动态场景的同时现场训练一个微小的神经网络。
该神经网络可以学习光线在整个场景中的分布情况。当在NVIDIAGeForce RTX 3090 GPU上运行时,它每秒可评估超过10亿次全局照明查询,以交互式帧率描绘老虎致密的皮毛,具有之前无法实现的丰富的光照细节。
完美创建难以实现的纹理
随着渲染算法的进步,现有的3D内容必须跟上算法所能达到的复杂性和丰富性,这一点至关重要。
NVIDIA研究人员正在深入探索这一领域,开发各种支持内容创作者建立丰富、逼真3D环境模型的技术。其中的一个重点领域是具有高度几何复杂性的素材,而使用传统技术可能难以模拟这些材质。
Polo衫的编织式样、地毯的纹理或草叶的特征往往比一个像素小得多,因此很难有效地存储和渲染它们的表现形式。NVIDIA研究人员正在用NeRF-Tex解决这个问题,该方法使用神经网络来表现这些具有挑战性的素材并对它们对照明的反应进行编码。
见树亦见林
复杂的几何物体在外观上也有差异,这取决于它们与观察者的距离。以一棵枝繁叶茂的树为例:距离近时,可以看到树枝、树叶和树皮上的大量细节;而距离远时,可能只能看到一团绿色。
虽然为场景中森林另一端的树渲染树皮和树叶细节消耗了大量时间,但在放大画面时,模型应尽可能地真实。
这是计算机图形学中的一个经典问题——LOD。艺术家们经常被这一挑战所困扰,他们为每个3D物体手动建立多个版本的模型以实现高效渲染。
NVIDIA研究人员开发了一种可以基于逆向渲染方法自动生成简化模型的新方法。通过该方法,创作者可以生成简化的模型。这些模型经过优化,看起来与原来的模型没有区别,但其几何复杂性却大大降低。
NVIDIA 在SIGGRAPH 2021大会上的风采
由全球200多名科学家组成的NVIDIA研究团队专注于AI、计算机图形、计算机视觉、自动驾驶汽车、机器人技术等领域。在8月9日至13日举行的SIGGRAPH会议上,NVIDIA研究人员将发表以下论文:
在太平洋时间8月11日,NVIDIA专题讨论会将讨论电竞领域的实时图形挑战。
如欲了解更多信息,敬请访问:https://www.nvidia.cn/events/siggraph/。
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。