腾讯互娱内容生态部(Content Development Department,以下简称 CDD)正在构建以 NVIDIA RTX A6000 + NVIDIA BlueField-2 DPU + Spectrum-3 交换机等先进技术为基础的新一代超大分辨率渲染平台。双方团队沿着视频流超低延迟传输这一方向进行持续的技术攻关,将 NVIDIA Rivermax 整合到生产软件环境中,进一步降低了超大分辨率渲染平台的交互延迟。
本案例主要应用了 NVIDIA Rivermax,NVIDIA RTX A6000,NVIDIA BlueField-2 DPU,NVIDIA Spectrum-3 交换机。
客户简介及应用背景
作为国内游戏大厂,腾讯早早布局虚拟制片业务。2020 年底,腾讯游戏成立内容生态部门(Content Development Department,以下简称 CDD),旗下拥有虚拟人、虚拟制片等多个业务线。2021 年 11 月 CDD 在深圳坪山建成了总占地 3000 平米的 LED 虚拟影棚。影棚配置有 40m*6m 的 240° 弧形 LED 立面屏幕,并配有可上下移动的 100 多平方米的天幕。LED 点间距 2.3,支持高速拍摄。
为了在硬件和软件上持续保持领先, CDD 与业内领先企业频繁交流,不断改进自研软件以提升虚拟拍摄影棚的制作体验。
客户挑战
在虚拟影棚中,LED 立面屏幕被分割为多个显示区域,每个显示区域由不同的工作站驱动,其呈现的内容则由其搭载的 GPU 渲染完成。
在实时拍摄过程中,需要 LED 光照、实时摄像机追踪和实时渲染投屏三者的结合,实现前台演员和虚拟背景之间的完美整合。这种拍摄方案消除了对绿幕合成的需求,让摄像机直接拍摄最终成像。
而所有需要在大型 LED 立面屏幕上显示实时渲染内容的行业都面临着一个普遍挑战,即每个渲染节点其实是一个独立运行工作站,在实际拍摄制片过程中,不仅需要消耗大量的计算资源用于渲染高分辨率高帧率的高品质实时内容,还需要同步所有渲染节点间的技术参数,同时推进所有显示媒介的呈现内容。目前鲜有人在这一领域取得突破,原因可以归纳为以下几个方面:
由于上述瓶颈导致渲染平台整体无法进一步提升成片的帧率和分辨率,无法进一步满足人们对于高帧率渲染实时内容的需求。
应用方案
客户的超大分辨率渲染平台通过集成 NVIDIA Rivermax 整体方案,解决了这些难题。完成集成后的系统架构如下图所示:
图 1. 系统架构图
新的平台由 NVIDIA RTX A6000 承担分布式实时渲染任务。RTX A6000 拥有 48GB 显存,可以将拍摄场景需要的模型和纹理数据全部加载到显存中,在拍摄过程中按需调用。渲染节点支持多 GPU 进行视口渲染,此模式支持创作者指定一个 GPU 渲染特定视口,并通过 NVLink 将渲染结果直接复制到另一个 GPU 上显示输出。而多个显示区域则通过 NVIDIA Quadro Sync II 同步 vsync 信号,并结合 NVIDIA 专业显卡提供的 NVAPI swapgroup/barrier 技术将渲染结果完美的拼合在一起。
此外整个渲染平台通过添加 NVIDIA BlueField-2 DPU 和 NVIDIA Spectrum-3 交换机,具备了运行 NVIDIA Rivermax 整体方案的硬件能力。
NVIDIA Rivermax 提供了高性能的流媒体传输服务,这种服务在 Windows 平台上实现了 GPU Direct P2P 支持,消除了额外的 GPU 显存到系统内存的拷贝,降低了操作系统层面的延迟,同时也降低了 CPU 资源的占用,从而让整个渲染平台的运行更为可靠。启用 NVIDIA Rivermax 后,单颗 CPU 核心可以轻松收发 100Gbps 的媒体流。
图 2. 单颗 CPU 核心收发 100Gbps 媒体流
而且整个平台也具备了部署 DOCA Firefly 的条件。DOCA Firefly 是 NVIDIA 提供的基于硬件的精确时间同步服务。在 NVIDIA BlueField-2 DPU 上部署 DOCA Firefly 可以实现纳秒级别的时间同步精度,其典型值如下表所示:
使用效果及影响
腾讯 CDD 综合 NVIDIA 提供的各项产品,使用 NVIDIA RTX A6000 实时渲染,使用 NVIDIA Rivermax 在 GPU 显存间直接传输数据,使用 NVIDIA BlueField-2 DPU 部署精确时间服务 DOCA Firefly 来同步所有渲染节点的系统时钟,使用 NVIDIA Spectrum-3 交换机复制 GPU 显存数据并承载时钟网络,通过这一系列改进措施,最终实现了在 LED 立面屏幕上以超低延迟呈现数字流资产的能力。
好文章,需要你的鼓励
法国AI初创公司Mistral AI发布了首个大语言模型全面生命周期评估,量化了AI的环境代价。其Mistral Large 2模型训练产生20,400吨二氧化碳当量,消耗281,000立方米水。运营阶段占环境影响85%,远超硬件制造成本。研究表明地理位置和模型大小显著影响碳足迹,企业可通过选择适当规模模型、批处理技术和清洁能源部署来减少环境影响。这一透明度为企业AI采购决策提供了新的评估标准。
上海AI实验库推出YUME系统,用户只需输入一张图片就能创建可键盘控制的虚拟世界。该系统采用创新的运动量化技术,将复杂的三维控制简化为WASD键操作,并通过智能记忆机制实现无限长度的世界探索。系统具备强大的跨风格适应能力,不仅能处理真实场景,还能重现动漫、游戏等各种艺术风格的虚拟世界,为虚拟现实和交互娱乐领域提供了全新的技术路径。
许多人认为一旦实现通用人工智能(AGI)和人工智能超级智能(ASI),这些高度先进的AI将能够告诉我们人生的真正意义。然而,巅峰AI可能无法明确回答这个史诗般的问题。即使AI拥有人类所有知识,也不意味着能从中找到生命意义的答案。AI可能会选择提供多种可能性而非绝对答案,以避免分裂人类社会。
上海AI实验室研究团队开发了革命性的AI编程验证方法,让大语言模型能够在最小人工干预下自动生成和验证程序规范。该方法摒弃传统的人工标注训练,采用强化学习让模型在形式化语言空间中自主探索,在Dafny编程验证任务上显著超越现有方法,为AI自主学习开辟新道路。