2023 年 8 月 8 日 — NVIDIA 于今日宣布推出搭载全新 NVIDIA® L40S GPU 的 NVIDIA OVX™ 服务器。这款功能强大的通用数据中心处理器将通过 NVIDIA Omniverse™ 平台,加速计算密集型的复杂应用,包括 AI 训练与推理、3D 设计与可视化、视频处理以及工业数字化等。
这款全新 GPU 将加速生成式 AI 的计算工作负载。生成式 AI 为各行各业的工作流和服务都带来了变革,如文本、图像和视频生成、聊天机器人、游戏开发、产品设计以及医疗等。
NVIDIA 专业可视化副总裁 Bob Pette 表示:“生成式 AI 为各行各业都带来了变革,企业也更需要为数据中心寻求大规模计算资源。配备 NVIDIA L40S GPU 的 OVX 系统能够加速 AI、图形和视频处理工作负载,满足不断增加的复杂且多样的应用对性能的严苛要求。”
强大的 AI 和图形性能
NVIDIA OVX 系统的每台服务器最多支持 8 块 NVIDIA L40S GPU,每块 GPU 的显存为 48GB。基于 NVIDIA Ada Lovelace GPU 架构的 L40S 搭载第四代 Tensor Core 和 FP8 Transformer Engine,可提供超过 1.45 PFLOP 的张量处理能力。对于拥有数十亿个参数和多种数据模式(如文本和视频)的复杂 AI 工作负载,与 NVIDIA A100 Tensor Core GPU 相比,L40S 能够将生成式 AI 的推理性能和训练性能分别提高 1.2 倍和 1.7 倍。
为了支持实时渲染、产品设计、3D 内容创建等高保真专业可视化工作流,NVIDIA L40S GPU 搭载 142 颗第三代 RT Core,可提供 212 TFLOP 的光线追踪性能,使专业创作者能够创建沉浸式的视觉体验和逼真的内容。
针对计算要求严苛的工作流,如工程和科学模拟等,NVIDIA L40S 搭载 18,176 颗 CUDA® Core,可提供近 5 倍于 NVIDIA A100 GPU 的单精度浮点计算(FP32)性能,以加快复杂计算和数据密集型分析的速度。
早期采用情况
专注于大规模 GPU 加速工作负载领域的CoreWeave 是首批提供 L40S 实例的云服务提供商之一。
CoreWeave 首席技术官 Brian Venturo 表示:“随着生成式 AI 的爆发式增长,我们各行各业的客户都在寻求性能强大的计算产品和规模上的扩展,以应对从交互式视频到 AI 设计和自动化等各类工作负载的复杂性。NVIDIA L40S GPU 将进一步扩大我们丰富的 NVIDIA 解决方案阵容,使 CoreWeave 成为首家提供这些新资源的专业云服务提供商,为下一批生成式 AI 应用提供快速、高效、经济的加速计算。”
提升 AI 性能的软件
部署 L40S GPU 的企业将受益于 NVIDIA AI Enterprise 软件。该软件今日发布了重大更新,能够为 100 多个框架、预训练模型、工具套件和软件提供生产就绪型企业级支持和安全,其中包括用于模拟的 NVIDIA Modulus、用于数据科学的 NVIDIA RAPIDS™ 和用于生产型 AI 的 NVIDIA Triton™ 推理服务器。
Omniverse的功能日益丰富
NVIDIA 还发布了对 Omniverse 平台的重大更新,新推出的各种功能和平台升级将助力开发者借助生成式AI的强大功能,加速并推进 OpenUSD 工作流程和工业数字化应用。支持Omniverse Cloud 的下一代 NVIDIA OVX 系统将配备 L40S GPU,为大幅加速生成式 AI 流程和 Omniverse 工作负载提供所需的 AI 和图形性能。
供应情况
NVIDIA L40S 将于今年秋季上市。包括华硕、戴尔科技、技嘉、慧与、联想、QCT、超微在内的全球系统构建商近期将提供搭载 NVIDIA L40S GPU 的 OVX 系统。该服务器将帮助全球专业人士推进 AI 的发展。并为各行各业的用户带来智能聊天机器人、搜索和摘要工具等生成式AI应用。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。