2023 年 8 月 8 日 — NVIDIA 于今日宣布推出搭载全新 NVIDIA® L40S GPU 的 NVIDIA OVX™ 服务器。这款功能强大的通用数据中心处理器将通过 NVIDIA Omniverse™ 平台,加速计算密集型的复杂应用,包括 AI 训练与推理、3D 设计与可视化、视频处理以及工业数字化等。
这款全新 GPU 将加速生成式 AI 的计算工作负载。生成式 AI 为各行各业的工作流和服务都带来了变革,如文本、图像和视频生成、聊天机器人、游戏开发、产品设计以及医疗等。
NVIDIA 专业可视化副总裁 Bob Pette 表示:“生成式 AI 为各行各业都带来了变革,企业也更需要为数据中心寻求大规模计算资源。配备 NVIDIA L40S GPU 的 OVX 系统能够加速 AI、图形和视频处理工作负载,满足不断增加的复杂且多样的应用对性能的严苛要求。”
强大的 AI 和图形性能
NVIDIA OVX 系统的每台服务器最多支持 8 块 NVIDIA L40S GPU,每块 GPU 的显存为 48GB。基于 NVIDIA Ada Lovelace GPU 架构的 L40S 搭载第四代 Tensor Core 和 FP8 Transformer Engine,可提供超过 1.45 PFLOP 的张量处理能力。对于拥有数十亿个参数和多种数据模式(如文本和视频)的复杂 AI 工作负载,与 NVIDIA A100 Tensor Core GPU 相比,L40S 能够将生成式 AI 的推理性能和训练性能分别提高 1.2 倍和 1.7 倍。
为了支持实时渲染、产品设计、3D 内容创建等高保真专业可视化工作流,NVIDIA L40S GPU 搭载 142 颗第三代 RT Core,可提供 212 TFLOP 的光线追踪性能,使专业创作者能够创建沉浸式的视觉体验和逼真的内容。
针对计算要求严苛的工作流,如工程和科学模拟等,NVIDIA L40S 搭载 18,176 颗 CUDA® Core,可提供近 5 倍于 NVIDIA A100 GPU 的单精度浮点计算(FP32)性能,以加快复杂计算和数据密集型分析的速度。
早期采用情况
专注于大规模 GPU 加速工作负载领域的CoreWeave 是首批提供 L40S 实例的云服务提供商之一。
CoreWeave 首席技术官 Brian Venturo 表示:“随着生成式 AI 的爆发式增长,我们各行各业的客户都在寻求性能强大的计算产品和规模上的扩展,以应对从交互式视频到 AI 设计和自动化等各类工作负载的复杂性。NVIDIA L40S GPU 将进一步扩大我们丰富的 NVIDIA 解决方案阵容,使 CoreWeave 成为首家提供这些新资源的专业云服务提供商,为下一批生成式 AI 应用提供快速、高效、经济的加速计算。”
提升 AI 性能的软件
部署 L40S GPU 的企业将受益于 NVIDIA AI Enterprise 软件。该软件今日发布了重大更新,能够为 100 多个框架、预训练模型、工具套件和软件提供生产就绪型企业级支持和安全,其中包括用于模拟的 NVIDIA Modulus、用于数据科学的 NVIDIA RAPIDS™ 和用于生产型 AI 的 NVIDIA Triton™ 推理服务器。
Omniverse的功能日益丰富
NVIDIA 还发布了对 Omniverse 平台的重大更新,新推出的各种功能和平台升级将助力开发者借助生成式AI的强大功能,加速并推进 OpenUSD 工作流程和工业数字化应用。支持Omniverse Cloud 的下一代 NVIDIA OVX 系统将配备 L40S GPU,为大幅加速生成式 AI 流程和 Omniverse 工作负载提供所需的 AI 和图形性能。
供应情况
NVIDIA L40S 将于今年秋季上市。包括华硕、戴尔科技、技嘉、慧与、联想、QCT、超微在内的全球系统构建商近期将提供搭载 NVIDIA L40S GPU 的 OVX 系统。该服务器将帮助全球专业人士推进 AI 的发展。并为各行各业的用户带来智能聊天机器人、搜索和摘要工具等生成式AI应用。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。