Arm 基础设施事业部高级产品经理 Tim Trepetch
Arm 基础设施事业部产品经理 Massimiliano Greco
突破传统基础设施
从云到边缘,Arm Neoverse 正凭借出色的性能、效率、设计灵活性和总体拥有成本 (TCO) 优势,革新传统基础设施芯片领域。
云和超大规模服务运营商正不断增大计算密度。随着 Microsoft Cobalt、阿里巴巴的倚天 710、AmpereOne等配置 128 核或以上的 CPU 设计进入市场,单个封装可实现的性能更强,且下一代的目标还将远高于 128 核。
随着 CPU 性能逐步提高,市场对人工智能 (AI)、网络和加密加速器等专用计算的需求也随之持续增长。这显然需要将这些加速器集成在一起,才能更有效地提高性能和效率,与此同时,还需实现模块化设计,以便将加速器与不同的通用计算引擎进行混合搭配。
基于 Neoverse N3 CPU 的 Neoverse CSS N3
图 1:Neoverse CSS N3 概览
Arm Neoverse 计算子系统 (CSS) 支持在新的工艺节点上快速开发先进的系统级芯片 (SoC)。通过在设计中使用预配置、预验证的 CSS,合作伙伴节省了 80 人/年的工程师时间,以及相应的机会成本,使其能够专注于实现助其系统增值的“秘密法宝”。
Neoverse CSS N3 构建在 Neoverse CSS N2 经过市场验证的优良表现之上,能通过新的架构功能提供更高的性能和效率,为数据中心市场带来更优越的单芯片性能和单 TCO 性能表现。此外,Neoverse CSS N3 还为边缘和网络应用带来了出色的效率。CSS N3 以 Neoverse S3 系统 IP 为基础,Neoverse S3 系统 IP 包括了一致性网状网络 CMN S3、系统内存管理单元 MMU S3 和片上网络 NOC S3。此外,CSS N3 还包含系统管理和本地控制处理器,以及 CPU 和系统 IP 协同设计与共同开发,以优化 PPA 和系统级功能的支持。
Neoverse CSS N3 支持 32 颗 Neoverse N3 核心,可在低至 40W 的功率范围内实现优异性能。该产品具备高度可配置性,适用于电信、数据处理单元 (DPU) 、网络和云等多个领域,可以在 8 核至 32 核之间进行扩展配置。
除了性能和效率的大幅提升之外,Neoverse CSS N3 还支持基于芯粒的设计。它支持 UCIe 晶粒间 (die-to-die) 连接标准,结合 Arm 新的 AMBA CHI C2C 协议,为构建异构加速计算奠定了基础。可以预见的是,Arm Neoverse CSS N3 将在当今专用计算领域蓬勃发展。基于 CSS N3 的芯粒可通过 AMBA CHI C2C 连接到 I/O 一致性加速器,从而将加速器封装在一起,进一步提高性能和效率,这一方法可用来取代传统的解决方案。在过往的解决方案中,其加速器是通过 PCIe 进行板级连接,这会导致更高的延迟、软件复杂性和功耗。
Neoverse N3 CPU 优异的效率表现
以每瓦性能来衡量的性能效率是 CPU 评估的一大关键指标。5G/6G 无线基础设施要求现代计算解决方案表现出更高的性能,同时功耗预算须保持不变。新一代的 DPU 需要配备功能更强大的 CPU,以便在 PCIe 设备规范的限制内运行成熟的操作系统、虚拟机、容器及其他数据包处理功能。头部云服务提供商正着手在机架的冷却能力范围内,部署核心数量更多、更密集的 CPU。“能效”几乎是所有细分市场的主要设计决策要素。Neoverse N3 便是以能效作为其设计核心。
Neoverse N3 CPU 延续了 Neoverse N2 经过市场验证的效率表现。经过 Arm CPU 设计团队的不懈努力,他们强化了分支预测器、预取器的性能,并优化了微架构,进而实现了效率的提升。此外,他们还改进了电源管理表现,增加了精度更高的每核动态电压频率调整 (DVFS) 功能,以实现更出色的性能效率。这些工作成果使得 N3 在效率表现上比上一代产品提高了 20% 以上。
Neoverse N3 可以满足多样的 SoC 设计要求,包括 16 核网络设计、32 核电信 RAN 或云 DPU 设计,以及 192 核超大规模和云 CPU 等等。Neoverse N3 还提供了多种电压和频率选择,与 Neoverse N2 相比,其每核性能效率提高了 20% 至近 50%。
图 2:Arm Neoverse N3 CPU
总结
Neoverse N3 CPU 的推出实现了 Neoverse N 系列持续提供出色的每瓦性能的目标。新的 CSS N3 结合了 Neoverse N3 优异的性能和效率与 Neoverse S3 系统 IP,成为一套定制性更强的计算子系统。与上一代的 CSS 相比,Neoverse CSS N3的每瓦性能可提高 20% 至近 50%。CSS N3 平台适用于云到边缘设计,可帮助我们的合作伙伴将 Arm 强大的处理器与加密、网络或 AI 加速器等等多种专用组件结合在一起,打造更具差异性的新产品。
我们的合作伙伴将有望在 2024 年底推出基于 Neoverse N3 和 CSS N3 的创新芯片设计,让我们共同翘首以待。
好文章,需要你的鼓励
UniR(Universal Reasoner)是一种创新的推理增强方法,可为冻结的大语言模型提供即插即用的推理能力。由韩国科学技术院研究团队开发,该方法将推理能力分解为独立的轻量级模块,无需改变主模型结构。UniR的核心优势在于高效训练(仅更新小型推理模块)、出色的模型间迁移能力(小模型可指导大模型)以及模块组合能力(多个专用模块可通过logits相加组合使用)。在数学推理和翻译测试中,UniR显著超越现有微调方法,展示了轻量级模块如何有效增强大语言模型的推理能力。
Nebius团队开发了SWE-rebench,一个自动化管道用于从GitHub收集软件工程任务并进行去污染评估。该系统解决了两大挑战:高质量训练数据稀缺和评估基准容易被污染。通过四阶段处理(初步收集、自动安装配置、执行验证和质量评估),SWE-rebench构建了包含超过21,000个Python交互式任务的数据集,并提供持续更新的评估基准。研究发现部分语言模型在传统基准上的表现可能被污染效应夸大,而DeepSeek模型在开源模型中表现最为稳健。
这项研究提出了JQL(发音为"Jackal"),一种通过多语言方法提升大型语言模型预训练数据质量的创新系统。研究团队从拉马尔研究所等机构通过四阶段方法解决了多语言数据筛选的难题:先由人类评估内容教育价值创建基准数据,然后评估大型语言模型作为"评判者"的能力,接着将这些能力提炼到轻量级评估器中,最后应用于大规模数据筛选。实验表明,JQL在35种语言上显著优于现有方法,甚至能泛化到未见过的语言如阿拉伯语和中文,为多语言AI发展提供了高效可靠的数据筛选方案。
浙江大学和西湖大学研究团队开发的Styl3R实现了艺术风格化3D重建的重大突破,能在不到一秒内从少量未标定照片和任意风格图像创建具有多视角一致性的3D艺术场景。通过创新的双分支网络架构将结构建模与外观着色分离,系统不仅保持了原始场景结构,还准确捕捉了参考风格特征。与现有方法相比,Styl3R在处理速度和视觉质量上均显著领先,为创意内容制作开辟了全新可能。