当高性能计算机(HPC)的计算能力从P级跃上E级、超级计算机的计算核心数目从几十万个扩展到几百万个,超大规模计算之下各计算单元如何保持高效互连与协同?在11月12日-17日于美国丹佛举行的世界超算大会(SC17)上,中国高性能计算领导品牌中科曙光面向全球首发的Torus硅元交换机给出了答案。
“目前大型超级计算机,特别是准E级或未来的E级系统,在系统规模、扩展性、成本、能耗、可靠性等方面仍面临着严峻挑战。本次发布的硅元交换机是全球首款采用Torus架构的高速网络交换机产品,基于它构建的超级计算机互连网络系统具有领先的性能、超强的扩展能力、极佳的容错能力,是迈向E级的最佳网络技术路线。”曙光公司HPC产品事业部总经理李斌介绍说。
与传统胖树网络拓扑结构相比,强调邻近互连的Torus直接网络在扩展性上具有明显的优势,且网络成本和系统规模呈线性关系。另外,因为具有很多冗余数据通路和采用动态路由,Torus网络也具有天然的容错性优势,这些都是超大规模系统所需要的网络特性,也是国际主流的高速网络技术发展方向。
李斌介绍说,曙光公司早在2015年的硅立方高性能计算机中就已实现了三维的3D-Torus。目前,曙光的Torus网络技术研究又有了突破性进展。Torus网络的维度从3D进化到了6D,提高Torus维度能有效降低大规模系统的最长网络跳数。在软件层面,支持6D-Torus的无死锁动态路由算法已经经过实际环境检验;在硬件层面,本次发布的Torus硅元交换机就是一项重要的硬件实现。
“硅元”是指Torus高维直接网络中的一个单元,一个硅元内部采用3D-Torus拓扑结构,多个硅元可以构建更高维的4D/5D/6D-Torus直接网络。将一个3D-Torus硅元集成到一台模块化交换机,能够极大提高系统集成度和密度,减少网络线缆,降低部署复杂度,降低成本。本次发布的Torus硅元交换机可以支持多达192个100Gb高速网络端口,Torus硅元交换机之间通过400Gb专用接口进行互连。
通过这样的硬件实现,也提高了Torus高速网络技术的覆盖范围,一些中小规模的高性能计算系统也可以更便捷地享用这项先进技术。
值得一提的是,本次发布的Torus硅元交换机还支持冷板式直接液体冷却,这标志着曙光的液体冷却技术从计算设备延展到了网络系统。液冷技术对提高大规模网络系统的集成度和可靠性、降低能耗等方面同样可以发挥重要的作用。
高性能计算和人工智能蓬勃发展的背后不仅需要计算能力的支撑和推动,也离不开高速互连网络的保驾护航。未来,曙光将在计算、存储、网络等核心技术方面进行持续创新,逐步发展成为中国新形象、新技术创新力量的名片之一。
好文章,需要你的鼓励
CPU架构讨论常聚焦于不同指令集的竞争,但实际上在单一系统中使用多种CPU架构已成常态。x86、Arm和RISC-V各有优劣,AI技术的兴起更推动了对性能功耗比的极致需求。当前x86仍主导PC和服务器市场,Arm凭借庞大生态系统在移动和嵌入式领域领先,RISC-V作为开源架构展现巨大潜力。未来芯片设计将更多采用异构计算,多种架构协同工作成为趋势。
KAIST AI团队通过深入分析视频生成AI的内部机制,发现了负责交互理解的关键层,并开发出MATRIX框架来专门优化这些层。该技术通过语义定位对齐和语义传播对齐两个组件,显著提升了AI对"谁对谁做了什么"的理解能力,在交互准确性上提升约30%,为AI视频生成的实用化应用奠定了重要基础。
Vast Data与云计算公司CoreWeave签署了价值11.7亿美元的多年期软件许可协议,这标志着AI基础设施存储市场的重要转折点。该协议涵盖Vast Data的通用存储层及高级数据平台服务,将帮助CoreWeave提供更全面的AI服务。业内专家认为,随着AI集群规模不断扩大,存储系统在AI基础设施中的占比可能从目前的1.9%提升至3-5%,未来五年全球AI存储市场规模将达到900亿至2000亿美元。
乔治亚理工学院和微软研究团队提出了NorMuon优化器,通过结合Muon的正交化技术与神经元级自适应学习率,在1.1B参数模型上实现了21.74%的训练效率提升。该方法同时保持了Muon的内存优势,相比Adam节省约50%内存使用量,并开发了高效的FSDP2分布式实现,为大规模AI模型训练提供了实用的优化方案。