2023 年 8 月 8 日 — NVIDIA 于今日宣布推出搭载全新 NVIDIA® L40S GPU 的 NVIDIA OVX™ 服务器。这款功能强大的通用数据中心处理器将通过 NVIDIA Omniverse™ 平台,加速计算密集型的复杂应用,包括 AI 训练与推理、3D 设计与可视化、视频处理以及工业数字化等。
这款全新 GPU 将加速生成式 AI 的计算工作负载。生成式 AI 为各行各业的工作流和服务都带来了变革,如文本、图像和视频生成、聊天机器人、游戏开发、产品设计以及医疗等。
NVIDIA 专业可视化副总裁 Bob Pette 表示:“生成式 AI 为各行各业都带来了变革,企业也更需要为数据中心寻求大规模计算资源。配备 NVIDIA L40S GPU 的 OVX 系统能够加速 AI、图形和视频处理工作负载,满足不断增加的复杂且多样的应用对性能的严苛要求。”
强大的 AI 和图形性能
NVIDIA OVX 系统的每台服务器最多支持 8 块 NVIDIA L40S GPU,每块 GPU 的显存为 48GB。基于 NVIDIA Ada Lovelace GPU 架构的 L40S 搭载第四代 Tensor Core 和 FP8 Transformer Engine,可提供超过 1.45 PFLOP 的张量处理能力。对于拥有数十亿个参数和多种数据模式(如文本和视频)的复杂 AI 工作负载,与 NVIDIA A100 Tensor Core GPU 相比,L40S 能够将生成式 AI 的推理性能和训练性能分别提高 1.2 倍和 1.7 倍。
为了支持实时渲染、产品设计、3D 内容创建等高保真专业可视化工作流,NVIDIA L40S GPU 搭载 142 颗第三代 RT Core,可提供 212 TFLOP 的光线追踪性能,使专业创作者能够创建沉浸式的视觉体验和逼真的内容。
针对计算要求严苛的工作流,如工程和科学模拟等,NVIDIA L40S 搭载 18,176 颗 CUDA® Core,可提供近 5 倍于 NVIDIA A100 GPU 的单精度浮点计算(FP32)性能,以加快复杂计算和数据密集型分析的速度。
早期采用情况
专注于大规模 GPU 加速工作负载领域的CoreWeave 是首批提供 L40S 实例的云服务提供商之一。
CoreWeave 首席技术官 Brian Venturo 表示:“随着生成式 AI 的爆发式增长,我们各行各业的客户都在寻求性能强大的计算产品和规模上的扩展,以应对从交互式视频到 AI 设计和自动化等各类工作负载的复杂性。NVIDIA L40S GPU 将进一步扩大我们丰富的 NVIDIA 解决方案阵容,使 CoreWeave 成为首家提供这些新资源的专业云服务提供商,为下一批生成式 AI 应用提供快速、高效、经济的加速计算。”
提升 AI 性能的软件
部署 L40S GPU 的企业将受益于 NVIDIA AI Enterprise 软件。该软件今日发布了重大更新,能够为 100 多个框架、预训练模型、工具套件和软件提供生产就绪型企业级支持和安全,其中包括用于模拟的 NVIDIA Modulus、用于数据科学的 NVIDIA RAPIDS™ 和用于生产型 AI 的 NVIDIA Triton™ 推理服务器。
Omniverse的功能日益丰富
NVIDIA 还发布了对 Omniverse 平台的重大更新,新推出的各种功能和平台升级将助力开发者借助生成式AI的强大功能,加速并推进 OpenUSD 工作流程和工业数字化应用。支持Omniverse Cloud 的下一代 NVIDIA OVX 系统将配备 L40S GPU,为大幅加速生成式 AI 流程和 Omniverse 工作负载提供所需的 AI 和图形性能。
供应情况
NVIDIA L40S 将于今年秋季上市。包括华硕、戴尔科技、技嘉、慧与、联想、QCT、超微在内的全球系统构建商近期将提供搭载 NVIDIA L40S GPU 的 OVX 系统。该服务器将帮助全球专业人士推进 AI 的发展。并为各行各业的用户带来智能聊天机器人、搜索和摘要工具等生成式AI应用。
好文章,需要你的鼓励
OpenAI CEO描绘了AI温和变革人类生活的愿景,但现实可能更复杂。AI发展将带来真正收益,但也会造成社会错位。随着AI系统日益影响知识获取和信念形成,共同认知基础面临分裂风险。个性化算法加剧信息茧房,民主对话变得困难。我们需要学会在认知群岛化的新地形中智慧生存,建立基于共同责任而非意识形态纯洁性的社区。
杜克大学等机构研究团队通过三种互补方法分析了大语言模型推理过程,发现存在"思维锚点"现象——某些关键句子对整个推理过程具有决定性影响。研究表明,计划生成和错误检查等高层次句子比具体计算步骤更重要,推理模型还进化出专门的注意力机制来跟踪这些关键节点。该发现为AI可解释性和安全性研究提供了新工具和视角。
传统数据中心基础设施虽然对企业至关重要,但也是预算和房地产的重大负担。模块化数据中心正成为强有力的替代方案,解决企业面临的运营、财务和环境复杂性问题。这种模块化方法在印度日益流行,有助于解决环境问题、满足人工智能的电力需求、降低成本并支持新一代分布式应用。相比传统建设需要数年时间,工厂预制的模块化数据中心基础设施可在数周内部署完成。
法国索邦大学团队开发出智能医学文献管理系统Biomed-Enriched,通过AI自动从PubMed数据库中识别和提取高质量临床案例及教育内容。该系统采用两步注释策略,先用大型AI模型评估40万段落质量,再训练小型模型处理全库1.33亿段落。实验显示该方法仅用三分之一训练数据即可达到传统方法效果,为医学AI发展提供了高效可持续的解决方案。