NVIDIA 在本周 CES 大会前的特别演讲充满亮点:发布强大的全新 GeForce RTX GPU、新一代超高效笔记本电脑、覆盖整个汽车行业的全新 Omniverse 功能与合作项目等。
NVIDIA 游戏产品高级副总裁 Jeff Fisher 在演讲开始时表示:“AI 将定义计算的未来趋势,我们此次分享的大部分内容都将围绕这一点展开。”
Fisher 与 NVIDIA 其他几位高管们一起介绍了游戏和内容创作、机器人以及新一代汽车领域的产品与合作项目。
观看NVIDIA CES 2023特别演讲回放请访问:https://www.nvidia.cn/events/ces/
发布 GeForce RTX 40 系列笔记本电脑、RTX 4070 Ti 显卡和 DLSS 3 游戏
Fisher表示,NVIDIA GeForce RTX 40 系列笔记本电脑 GPU 的性能和能效实现了有史以来最大的代际飞跃,包括性能强大的 14 英寸游戏本和设计本。该系列产品将于 2 月上市,起售价为 999 美元。
用于台式电脑的全新 GeForce RTX 4070 Ti 显卡比上一代 RTX 3090 Ti 更快,功耗却只有一半,建议零售价为人民币6,499元。该产品将在 1 月 5 日上市。
开发者采用 DLSS 3 的速度比之前的任何 NVIDIA 技术都要快。目前已经发布和即将发布的游戏共有 50 部,包括《女巫之火》(Witchfire)、《浩劫前夕》(The Day Before)、《战争避难所》(Warhaven)、《王权与自由》(THRONE AND LIBERTY)、《原子之心》(Atomic Heart)等。
此外,RTX 4080 的性能还将被用于 NVIDIA GeForce NOW 云游戏服务。Fisher 表示数百万玩家将通过 GeForce NOW 的 Ultimate 会员获得 NVIDIA Ada 架构的使用权。
新一级性能将首次把 NVIDIA Reflex 和每秒 240 帧串流带到云端,同时为 《传送门》RTX版(Portal With RTX) 游戏提供全景光追和 DLSS 3。
Fisher 表示,NVIDIA RTX 势不可挡:“如今,创作已经超越了照片和视频的范畴,发展到了使用 3D 电影图形和真实物理学渲染的虚拟世界。RTX 平台正在推动这一增长。”
光线追踪和人工智能正在定义新一代内容,而 NVIDIA Studio 为这些新型内容创作者提供了一个创作平台。Studio 核心是NVIDIA Omniverse,创作者可以在这里连接加速应用并开展实时协作。
NVIDIA 消费市场副总裁 Stephanie Johnson 介绍了一套使用 AI 的全新生成式 AI 工具和实验性插件。
Omniverse 是一个使用 NVIDIA RTX 构建而成的平台,它让 3D 艺术家能够连接他们最喜爱的 Adobe、Autodesk、SideFX、虚幻引擎等工具。NVIDIA 消费市场副总裁 Stephanie Johnson 表示,Omniverse 现在有了一个用于 Unity 的新连接器。
Johnson 介绍了一套使用 AI 为创作提供强大辅助的新生成式 AI 工具和实验性插件。Audio2Face 和 Audio2Gesture 可通过音频文件生成动画。NVIDIA 研究部门的 AI ToyBox 让用户能够使用输入的 2D 内容生成 3D 网格。
许多公司已使用生成式 AI 技术建立 Omniverse 连接器和扩展程序。例如 Move.AI 的 Omniverse 扩展程序实现了视频到动画的转换;Lumirithmic 使用面部扫描图像生成头部 3D 网格;Elevate3D 能够从 360 度视频录像中生成逼真的产品 3D 可视化。
Johnson 还宣布,建立在 Omniverse 基础上的 NVIDIA RTX Remix 是“重塑经典游戏的最简单方法”并且很快就会开放抢先体验。她表示:“Mod 社区已经迫不及待地想要使用 Remix 了。”
NVIDIA Isaac Sim 带来大幅改进的智能机器人开发功能和工具
NVIDIA 嵌入式与边缘计算副总裁 Deepu Talla 解释说,模拟在机器人项目的生命周期中发挥着重要作用。合作伙伴正在使用 NVIDIA Isaac Sim 创建数字孪生,帮助加快智能机器人的训练和部署。
NVIDIA 嵌入式与边缘计算副总裁 Deepu Talla 宣布 NVIDIA 机器人模拟应用和合成数据生成工具 Isaac Sim 的下一个版本。
为了彻底改变机器人生态系统开发新一代自主机器人的方式,Talla 发布了 Isaac Sim 下一个版本的重大更新,包括升级对传感器和激光雷达的支持以便更准确地模拟现实中的性能、一个新的传送带构建工具、一个将人员添加到模拟环境中的新工具、一组新的模拟可用的仓库资产以及一系列预先集成的全新流行机器人。
Talla 表示,该版本为开源 ROS 开发者社区升级了对 ROS 2 Humble 和 Windows 的支持。NVIDIA 为机器人研究者们推出了一个名为 Isaac ORBIT 的新工具,为机械手机器人提供了操作环境。NVIDIA 还改进了用于强化学习的 Isaac Gym 并更新了用于协作式机器人编程的 Isaac Cortex。
Talla 表示:“我们在推动机器人技术发展上的投入超过了世界上任何一家公司。目前,我们正在努力让每一个待部署的物理机器人都能有一千到一百万个虚拟机器人。”
梅赛德斯-奔驰将打造数字孪生;富士康在 NVIDIA DRIVE 上打造电动汽车;Geforce NOW 向汽车进行流式传输
NVIDIA 汽车部门副总裁兼总经理 Ali Kani 表示,NVIDIA DRIVE 平台是一个开放、易于编程的平台。
目前,整个汽车生态系统中有数百家合作伙伴正在 NVIDIA DRIVE 上开发软件,其中包括新能源汽车制造领域前 30 家制造商中的 20 家、业内的许多顶尖一级制造商和软件制造商以及全球最大的 10 家卡车运输和自动驾驶出租车公司中的 8 家。
这个数字还在继续增长:Kani 宣布与全球最大的技术制造商和服务提供商富士康合作,一起在 NVIDIA DRIVE Hyperion 的基础上建造电动汽车。
NVIDIA 汽车部门副总裁兼总经理 Ali Kani 宣布与富士康建立合作关系;GeForce NOW 将“进入到您的汽车屏幕”;梅赛德斯-奔驰正在使用 NVIDIA 数字孪生技术规划和建造更加高效的生产设施。
Kani 表示:“通过采用 Hyperion,富士康将制造出具有领先电动续航里程以及先进自动驾驶技术的汽车,同时缩短产品上市时间。”
伴随新一代汽车的自主化和电动化,内饰将转变为移动生活空间并配备与家中相同的娱乐设施。Kani表示,GeForce NOW 将“出现在您的汽车屏幕上”。
Kani 还宣布多家 DRIVE 合作伙伴正在整合 GeForce NOW,包括现代汽车集团、比亚迪和极星。
游戏玩家将能够在车内进入到虚拟世界,而元宇宙等工具对新一代自动驾驶汽车的开发和测试同样至关重要。
Kani 宣布梅赛德斯-奔驰正在使用数字孪生技术规划和建造更加高效的生产设施,他表示:“Omniverse 正在汽车市场发挥惊人的用途。”
好文章,需要你的鼓励
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。
这项由中国人民大学高瓴人工智能学院研究团队发表的研究解决了大语言模型评判中的自我偏好问题。研究提出了DBG分数,通过比较模型给自身回答的分数与黄金判断的差异来测量偏好度,有效分离了回答质量与自我偏好偏差。实验发现,预训练和后训练模型都存在自我偏好,但大模型比小模型偏好度更低;调整回答风格和使用相同数据训练不同模型可减轻偏好。研究还从注意力分析角度揭示了自我偏好的潜在机制,为提高AI评判客观性提供了重要指导。
这篇研究提出了DenseDPO,一种改进视频生成模型的新方法,通过三大创新解决了传统方法中的"静态偏好"问题:使用结构相似的视频对进行比较,采集细粒度的时序偏好标注,并利用现有视觉语言模型自动标注。实验表明,DenseDPO不仅保留了视频的动态性,还在视觉质量方面与传统方法相当,同时大大提高了数据效率。这项技术有望推动AI生成更加自然、动态的视频内容。