Brad Theilman 面对镜头,背景中 Felix Wang 正在拆封一批新的 SpiNNaker2 计算核心。 这项成果是 Sandia 与 SpiNNcloud 合作的产物,将成为双方合作推出的全球首个商业产品。 此项目由 NNSA 的 Advanced Simulation and Computing (ASC) 项目资助,旨在探索如何利用神经形态计算支持国家核威慑任务。 SpiNNaker 为 “Spiking Neural Network Architecture” 的缩写,是一款受大脑启发而设计的神经形态计算机,专用于大规模、实时模拟类脑应用。 该技术不仅能模拟大规模类脑网络,增进科研人员对大脑的理解,同时也为检验当前计算能力的极限提供了一个框架。 图片由 Craig Fritz 拍摄。
桑迪亚国家实验室已启动其 SpiNNaker 2 “类脑”超算,该系统摒弃了 GPU 与内部存储。
该系统由德国 SpiNNcloud 提供,将位居前五名的 “类脑”平台之列,其模拟的神经元数量介于 1.5 亿至 1.8 亿之间。
这一架构最初由 Arm 先驱 Steve Furber 开发,虽然其神经元数量明显低于人脑的 1000 亿神经元。
正如 SpiNNcloud 解释的那样,SpiNNaker 2 的高度并行架构在每块服务器板上集成 48 枚 SpiNNaker 2 芯片,每枚芯片均配备 152 个基于核心和专用加速器。
每枚芯片配备 20 MB 的 SRAM,每块板上配置 96 GB 的外部 LPDDR4 内存。 因此,一套 90 块板的系统总共拥有 8640 GB 的 DRAM,而一套 1440 块板的系统则拥有 69120 枚芯片和 138240 TB 的 DRAM。
毋庸置疑,该系统采用高速芯片间通信。 SpiNNcloud 表示,这一设计连同庞大的内存容量,共同消除了对集中式存储的需求。
DRAM 加速
对于桑迪亚来说,他们已接收到一套由 24 块板、175000 个核心构成的系统。 据 SpiNNcloud 介绍,“这台超算已接入现有的 HPC 系统,且内部不包含操作系统或磁盘。其速度优势在于数据始终保存在 SRAM 和 DRAM 中。”
标准的平行以太网端口“足以加载/保存数据。” SpiNNcloud 还表示,“当前最大系统”拥有超过 10500000 个核心,这意味着其能够实现生物学意义上的实时运算。
此外,与 GPU 系统相比,该系统在能效上更为出色,能够支持复杂事件驱动的计算和模拟。
SpiNNcloud 联合创始人兼 CEO Hector A. Gonzalez 表示,该系统将主要针对“下一代国防及其他领域”中的问题。 SpiNNaker2 的效率提升使其特别适合满足国家安全应用中对计算性能的严苛需求。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。