一年一度的国际超级计算机大会(ISC)今年如期举行,只是采取了前所未有的线上形式。英伟达公司自然抓住时机,在会上发布了一系列公告。我个人最为关注的,当数英伟达首次公开的超百亿亿次AI超级计算机Selene,目前这套系统成为美国国内性能最强的工业系统,并在全球五百强榜单中排名第七。此外,英伟达还公布了新的PCIe版本A100加速器,成功谈定的六个将采用A100芯片的超级计算机项目,外加新的Mellanox UFM Cyber AI平台(用于预测并检查安全威胁并预报网络故障)。尽管亮点颇多,但Selene的风头仍堪称一时无两。
提起英伟达的优势技术时,人们首先想到的往往是CUDA。诚然,在最初亮相的13年之后,这款高性能软件仍是英伟达最引以为傲的优势之一。CUDA令高性能计算与AI应用得以在英伟达GPU上高效运行,也受到全世界程序员们的广泛拥护。它能够在数百万上GPU上支持数千款应用程序。但作为后继者,Selene也许将构建起超越CUDA库及工具的更强战壕。
下面来看Selene。它由280台英伟达DGX A100服务器组成,每台服务器安装有8块Ampere GPU,并通过490多个200 Gb Mellanox交换机实现互连。一般来说,超级计算机的安装周期往往长达一年,但英伟达的工程师们在不到一个月的时间里就完成了Selene的组装与测试,这也证明了DGX平台强大的即插即用设计与安装便捷性。
图一:Selene超级计算机可在一个月之内组装并测试完成,并提供极为强大的计算能力,这也让英伟达手中再添一张王牌。
早在2017年,英伟达公司就发布了V100以及内部使用的Saturn V超级计算机。该平台是一台专门用于英伟达软件与硬件研发的超级计算机,在全球超算排行榜中杀入了前30位,主要处理各类AI与高性能计算工作负载。此外,它还被广泛用于Ampere相关新产品的开发当中,帮助英伟达工程师及合作伙伴在多个领域建立起战略竞争优势。
首先,它为软件优化与模型开发提供了最先进的平台。如图二所示,在该芯片推出的两年之内,英伟达已经在各类高性能计算应用当中将V100的性能提升了一倍。此外,mlperf基准测试结果也表明,英伟达成功在不变更硬件的前提下,将AI处理性能提高了3倍。
图二:英伟达凭借着巨大的计算资源与人才投入,成功在芯片正式推出之后,通过软件优化将其性能提高2到4倍。
其次,Saturn V以及Selene这样的平台也为研究及协作带来了宝贵的机会。首先就是Megatron的开发,这是一套包含超过10亿参数的自然语言模型,属于对BERT(来自Transformers的双向编码器表示)的扩展。英伟达与微软希望将其打造成强大的扩展对话式AI解决方案。截至目前,还鲜有多少研究人员、开发人员甚至是研究机构拥有足以处理此类前沿研究项目的顶尖超级计算机。但英伟达自身及其合作伙伴显然不在此列。我个人曾经有幸参观英伟达位于圣克拉拉的Saturn V设施,确实令人印象深刻。我也相信Selene的出现会将英伟达的技术优势提升到新的水平。
最后,拥有这样一台内部超级计算机,意味着英伟达的工程师们能够随时随地使用一套庞大的AI平台,借此加快并改善产品开发。如前所述,AI技术正在加速芯片开发及改进最终产品方面发挥巨大的作用。例如,Synopsis的客户已经使用AI技术探索出数十亿种可能的物理布局,借此设计出功耗更低、性能更高、裸片面积更小且不再高度依赖于工程师人为干预的芯片设计方案。在近三年的使用周期当中,英伟达的工程师们利用Saturn V实现了竞争对手们需要投入数千万美元才能获得的性能优势。而实现这一切的根基,正是Ampere芯片。
英伟达公司CEO黄仁勋有句名言,“买得越多,省得越多。”他也将这一理念运用到公司内部的高性能计算及AI研发投资当中。这才是他好我也好的双赢策略。正因为如此,与一切潜在竞争对手(至少就目前来看)相比,英伟达的工程师们能够产出更好的产品,同时更轻松地与研究人员及合作伙伴开展协作。我个人甚至怀疑,像英特尔这样的大公司已经意识到Selene这类系统的重要意义,其甚至有可能成为芯片设计从业企业的新标配。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。