当高性能计算机(HPC)的计算能力从P级跃上E级、超级计算机的计算核心数目从几十万个扩展到几百万个,超大规模计算之下各计算单元如何保持高效互连与协同?在11月12日-17日于美国丹佛举行的世界超算大会(SC17)上,中科曙光面向全球首发的Torus硅元交换机给出了答案。
曙光公司HPC产品事业部总经理李斌和Intel OPA Marketing Director Joe Yaworski共同发布Torus硅元交换机
“目前大型超级计算机,特别是准E级或未来的E级系统,在系统规模、扩展性、成本、能耗、可靠性等方面仍面临着严峻挑战。本次发布的硅元交换机是全球首款采用Torus架构的高速网络交换机产品,基于它构建的超级计算机互连网络系统具有领先的性能、超强的扩展能力、极佳的容错能力,是迈向E级的最佳网络技术路线。”曙光公司HPC产品事业部总经理李斌介绍说。
与传统胖树网络拓扑结构相比,强调邻近互连的Torus直接网络在扩展性上具有明显的优势,且网络成本和系统规模呈线性关系。另外,因为具有很多冗余数据通路和采用动态路由,Torus网络也具有天然的容错性优势,这些都是超大规模系统所需要的网络特性,也是国际主流的高速网络技术发展方向。
李斌介绍说,曙光公司早在2015年的硅立方高性能计算机中就已实现了三维的3D-Torus。目前,曙光的Torus网络技术研究又有了突破性进展。Torus网络的维度从3D进化到了6D,提高Torus维度能有效降低大规模系统的最长网络跳数。在软件层面,支持6D-Torus的无死锁动态路由算法已经经过实际环境检验;在硬件层面,本次发布的Torus硅元交换机就是一项重要的硬件实现。
“硅元”是指Torus高维直接网络中的一个单元,一个硅元内部采用3D-Torus拓扑结构,多个硅元可以构建更高维的4D/5D/6D-Torus直接网络。将一个3D-Torus硅元集成到一台模块化交换机,能够极大提高系统集成度和密度,减少网络线缆,降低部署复杂度,降低成本。本次发布的Torus硅元交换机可以支持多达192个100Gb高速网络端口,Torus硅元交换机之间通过400Gb专用接口进行互连。
通过这样的硬件实现,也提高了Torus高速网络技术的覆盖范围,一些中小规模的高性能计算系统也可以更便捷地享用这项先进技术。
值得一提的是,本次发布的Torus硅元交换机还支持冷板式直接液体冷却,这标志着曙光的液体冷却技术从计算设备延展到了网络系统。液冷技术对提高大规模网络系统的集成度和可靠性、降低能耗等方面同样可以发挥重要的作用。
高性能计算和人工智能蓬勃发展的背后不仅需要计算能力的支撑和推动,也离不开高速互连网络的保驾护航。未来,曙光将在计算、存储、网络等核心技术方面进行持续创新,逐步发展成为中国新形象、新技术创新力量的名片之一。
好文章,需要你的鼓励
这篇研究揭示了大语言模型强化学习中的"熵崩塌"现象——模型在训练早期迅速失去探索能力,导致性能达到可预测的上限。研究者发现验证性能和策略熵之间存在精确的数学关系:R = -a·exp(H) + b,并深入分析了熵变化的内在机制。基于这些发现,他们提出了两种简单有效的方法(Clip-Cov和KL-Cov)来缓解熵崩塌问题,显著提升了模型性能,特别是在困难任务上。这项研究为大模型强化学习的规模化应用提供了关键指导。
Skywork OR1是昆仑公司AI团队开发的开源推理大模型,通过创新的强化学习方法显著增强了语言模型的推理能力。该研究基于DeepSeek-R1-Distill模型系列,采用名为MAGIC的训练方法,在AIME24、AIME25和LiveCodeBench三大基准测试中实现了显著性能提升,32B模型平均准确率提高15.0%,7B模型提高13.9%。研究团队通过系统研究策略熵崩塌现象,提出了有效的缓解策略,并开源了全部代码、数据和模型权重,为AI社区提供了宝贵资源。
上海交通大学研究团队发现多模态大语言模型中的"啊哈时刻"(自我反思模式)虽存在但并不意味着推理能力提升。他们提出了"冷启动强化学习"两阶段方法:先用监督微调建立推理模式,再通过强化学习优化。实验表明,这种方法在多个多模态数学推理基准上表现卓越,使3B参数模型达到接近甚至超越部分7B模型的性能,为增强多模态AI推理能力提供了有效路径。
MBZUAI研究团队开发的SVRPBench是首个模拟真实物流环境的随机车辆路径问题基准测试平台。它通过建模时间依赖的交通拥堵、概率性延误和客户特定时间窗口,为500多个包含最多1000客户的测试实例注入真实世界的不确定性。实验结果显示,先进的强化学习算法在分布变化时性能下降超过20%,而传统方法表现更为稳健。该开源平台通过GitHub和Hugging Face发布,旨在推动更适应现实世界不确定性的路由算法研究。