每年发布两轮的全球五百强超级计算机榜单,堪称系统设计领域最新进展的参考依据。其每六个月对世界上速度最快的五百台超级计算机进行排名,相关结果则对新兴技术与处理器的性能以及超算行业如何发展提供了宝贵的指导性信息。
此次最新版本发布于本周一,其中出现了不少个“第一次”。总结而言,目前上榜的所有五百台计算机都能够提供千万亿次或者更高的处理能力。千万亿次指的自然是每秒千万亿次浮点运算,其中的浮点运算指的是一种涉及大数的复杂计算。
由于过去六个月当中计算速度的快速提升,如今全球五百强超算的总体处理能力首次超过了1.5 百亿亿次——用另外一种单位表示,相当于每秒150万万亿次运算。其中去年在能源部橡树岭国家实验室上线的Summit超级计算机为这一总体水平贡献了高达十分之一的力量。凭借着如此强悍的性能,Summit在本次榜单中拔得头筹,其最高计算能力为148.6千万亿次。
亚军则是来自劳伦斯利弗莫尔国家实验室的Sierra设备,其拥有94.6千万亿次浮点运算力。这两套系统都是由IBM公司通过其Power 9 CPU配合英伟达公司旗舰级V100显卡打造的大量服务器构建而成。
然而,尽管美国统治了全球五百强超算榜单的头部空间,但从整体排名来看,情况则有所不同。中国的上榜超算数量几乎达到美国的两倍,此次总计219台。其中速度最快的无疑是神威太湖之光超级计算机,排名第三,以93千万亿次的峰值性能落后于Summit与Sierra。
未来几年,相信超算五百强榜单将会发生重大变化。2021年,美国能源部将启动Frontier,这是一台性能突破1.5百亿亿次的超级计算机,其计算能力相当于现有五百强超算的总和。而该系统在设计上还将被并入后续系统,这套升级系统的性能因此也将更上一层楼。
Frontier之所以如此独特,是因为其采用AMD公司的CPU与显卡构建而成——从传统角度讲,AMD在超算领域的采用比例并不高。目前约有96%的现有五百强系统采用英特尔公司的CPU,而英伟达则负责为大多数超算提供显卡设备。
AMD公司这一令人意外的胜利表明,未来几年超级计算机能力的飞跃也将伴随着竞争态势的转变。目前,市场已经出现了一系列重大变化。就在上个月,HPE公司以13亿美元收购了传奇超级计算机厂商克雷公司,希望借此发展自己的百亿亿次计算系统技术。
图片来源:Randy Wong/劳伦斯利弗莫尔国家实验室。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。