至顶网服务器频道 11月23日 新闻消息(文/李祥敬):众所周知,高性能计算机有很多重要的组成部分,其中最主要的三个硬件的部分就是计算、存储和网络。当高性能计算机(HPC)的计算能力从P级跃上E级、超级计算机的计算核心数目从几十万个扩展到几百万个,超大规模计算之下各计算单元如何保持高效互连与协同?
曙光公司高性能计算产品事业部总经理和Intel OPA Marketing Director Joe Yaworski在SC17上正式发布Torus硅元交换机
曙光公司HPC产品事业部总经理李斌用一个形象比喻来形容高性能计算的网络部分和计算单元的关系,“高性能计算机越来越快,如果把计算单元比喻成汽车,我们要把它做得更快就是把计算单位做成超级跑车。这个网络就是道路,我的车再快,如果没有一个好的道路支撑的话,它的速度也发挥不出来。”
同时,高性能计算的网络与大家平时理解的互联网络有很大的不同,我们把高性能计算机“道路”修好,相当于网络的速度、带宽要很大。同时我们要把道路的规划做好,也就是网络的拓扑结构,还有通过网络的路由算法把“交通”控制做好。
“未来计算网络成本要占到整个设备的50%,正是高速网络的重要性,曙光在高性能计算的拓展中把网络作为核心技术进行突破。”李斌说,“Torus架构就是这种投入的成果。”
目前大型超级计算机,特别是准E级或未来的E级系统,在系统规模、扩展性、成本、能耗、可靠性等方面仍面临着严峻挑战。其中网络遇到的挑战更大,目前HPC系统普遍采用Mellanox InfiniBand和英特尔Omni-Path。
而本次发布的硅元交换机是全球首款采用Torus架构的高速网络交换机产品,基于它构建的超级计算机互连网络系统具有领先的性能、超强的扩展能力、极佳的容错能力,是迈向E级的最佳网络技术路线。
与传统胖树网络拓扑结构相比,强调邻近互连的Torus直接网络在扩展性上具有明显的优势,且网络成本和系统规模呈线性关系。另外,因为具有很多冗余数据通路和采用动态路由,Torus网络也具有天然的容错性优势,这些都是超大规模系统所需要的网络特性,也是国际主流的高速网络技术发展方向。
李斌介绍说,曙光公司早在2015年的硅立方高性能计算机中就已实现了三维的3D-Torus。目前,曙光的Torus网络技术研究在网络路由算法和硬件架构创新两个方面又有了突破性进展,
Torus网络的维度从3D进化到了6D,提高Torus维度能有效降低大规模系统的最长网络跳数。在软件层面,支持6D-Torus的无死锁动态路由算法已经经过实际环境检验;在硬件层面,本次发布的Torus硅元交换机就是一项重要的硬件实现。
“硅元”是指Torus高维直接网络中的一个单元,一个硅元内部采用3D-Torus拓扑结构,多个硅元可以构建更高维的4D/5D/6D-Torus直接网络。将一个3D-Torus硅元集成到一台模块化交换机,能够极大提高系统集成度和密度,减少网络线缆,降低部署复杂度,降低成本。
Torus硅元交换机可以支持多达192个100Gb高速网络端口,Torus硅元交换机之间通过400Gb专用接口进行互连。通过这样的硬件实现,也提高了Torus高速网络技术的覆盖范围,一些中小规模的高性能计算系统也可以更便捷地享用这项先进技术。
值得一提的是,本次发布的Torus硅元交换机还支持冷板式直接液体冷却,这标志着曙光的液体冷却技术从计算设备延展到了网络系统。液冷技术对提高大规模网络系统的集成度和可靠性、降低能耗等方面同样可以发挥重要的作用。
结语
高性能计算和人工智能蓬勃发展的背后不仅需要计算能力的支撑和推动,也离不开高速互连网络的保驾护航。未来,曙光将在计算、存储、网络等核心技术方面进行持续创新,为高性能计算迈向E级计算做出自己的贡献。
好文章,需要你的鼓励
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
美国垃圾收集行业2024年创收690亿美元,近18万辆垃圾车每周运营六至七天,每日停靠超千次。设备故障成为行业最大隐性成本,每辆车年均故障费用超5000美元。AI技术通过实时监控传感器数据,能提前数周预测故障,优化零部件库存管理,减少重复维修。车队报告显示,预测性维护每辆车年节省高达2500美元,显著提升运营效率和服务可靠性。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。