UnifabriX 表示,其基于 CXL 连接的外部 MAX 内存设备可以显著提升 AI 处理性能。
在之前的一篇文章中介绍了该公司的 MAX 内存技术。UnifabriX CEO Ronen Hyatt 引用了 Amir Gholami 等人的"AI 和内存墙"研究论文来说明他的观点。研究人员指出:"空前的无监督训练数据以及神经网络扩展法则,导致模型规模和大语言模型的训练/服务计算需求激增。然而,主要性能瓶颈正逐渐转向内存带宽。在过去 20 年中,服务器硬件峰值 FLOPS 每两年增长 3.0 倍,远超过 DRAM 和互连带宽的增长速度,后两者每两年仅分别增长 1.6 倍和 1.4 倍。这种差异使得内存,而非计算能力,成为 AI 应用的主要瓶颈,特别是在服务部署方面。"
论文中的图表展示了这种影响: 内存墙即是内存带宽与硬件峰值 FLOPS 之间的差距。
论文作者总结道:"为了更好地理解这些数字,过去 20 年间,硬件峰值 FLOPS 增长了 60,000 倍,而 DRAM/互连带宽在同期仅分别增长了 100 倍/30 倍。在这种趋势下,内存——特别是芯片内部/芯片间的内存传输——将很快成为部署大型 AI 模型的主要限制因素。因此,我们需要重新思考 AI 模型的训练、部署和设计方式,以及如何设计 AI 硬件来应对这个日益严峻的内存墙挑战。"
Hyatt 修改了图表,加入了 PCIe 总线各代以及 CXL 和 NVLink 的扩展线,显示 IO 架构速度的增长同样未能跟上硬件峰值 FLOPS 的步伐。
即使使用 InfiniBand 连接 NAND 驱动器,GPU 服务器的内存和闪存存储之间仍存在性能差距。通过 CXL (未来还有 UALink) 连接外部内存,可以缓解这一性能差距。
Hyatt 表示,内存架构优于 InfiniBand 网络,能够提供更高的性能,而 CXL 和 UALink 是可与 Nvidia 专有 NVLink 相媲美的开放内存架构标准。
除了提升性能外,UnifabriX 的 MAX 内存还可以节省成本。
在 UnifabriX 的示例场景中,16 台服务器(包括 4 台 GPU 服务器)中,每台配置 6 TB DRAM,总容量为 96 TB。总内存成本为 160 万美元,而 UnifabriX 指出内存利用率不到 30%。
通过添加一个容量为 30 TB 的 MAX 内存单元,这 16 台服务器现在每台可以配置 2.25 TB 内存,总计 66 TB 内存,成本为 67 万美元,且具有更高的利用率。服务器获得按需内存容量和带宽,应用程序运行更快。
在 UnifabriX 的示例中,不仅节省了 100 万美元的资本支出,还实现了 150 万美元的总拥有成本收益。
好文章,需要你的鼓励
三星与AI搜索引擎Perplexity合作,将其应用引入智能电视。2025年三星电视用户可立即使用,2024和2023年款设备将通过系统更新获得支持。用户可通过打字或语音提问,Perplexity还为用户提供12个月免费Pro订阅。尽管面临版权争议,这一合作仍引发关注。
浙江大学团队提出动态专家搜索方法,让AI能根据不同问题灵活调整内部专家配置。该方法在数学、编程等任务上显著提升推理准确率,且不增加计算成本。研究发现不同类型问题偏爱不同专家配置,为AI推理优化开辟新路径。
苹果M5 MacBook Pro评测显示这是一次相对较小的升级。最大变化是M5芯片,CPU性能比M4提升约9%,多核性能比M4 MacBook Air快19%,GPU性能提升37%。功耗可能有所增加但电池续航保持24小时。评测者认为该产品不适合M4用户升级,但对使用older型号用户仍是强有力选择。
清华大学研究团队提出SIRI方法,通过"压缩-扩张"交替训练策略,成功解决了大型推理模型"话多且准确率低"的问题。实验显示,该方法在数学竞赛题上将模型准确率提升43.2%的同时,输出长度减少46.9%,真正实现了效率与性能的双重优化,为AI模型训练提供了新思路。