UnifabriX 如何通过技术突破 AI 内存瓶颈

UnifabriX 表示，其基于 CXL 连接的外部 MAX 内存设备可以显著提升 AI 处理性能。

在之前的一篇文章中介绍了该公司的 MAX 内存技术。UnifabriX CEO Ronen Hyatt 引用了 Amir Gholami 等人的"AI 和内存墙"研究论文来说明他的观点。研究人员指出："空前的无监督训练数据以及神经网络扩展法则，导致模型规模和大语言模型的训练/服务计算需求激增。然而，主要性能瓶颈正逐渐转向内存带宽。在过去 20 年中，服务器硬件峰值 FLOPS 每两年增长 3.0 倍，远超过 DRAM 和互连带宽的增长速度，后两者每两年仅分别增长 1.6 倍和 1.4 倍。这种差异使得内存，而非计算能力，成为 AI 应用的主要瓶颈，特别是在服务部署方面。"

论文中的图表展示了这种影响： 内存墙即是内存带宽与硬件峰值 FLOPS 之间的差距。

论文作者总结道："为了更好地理解这些数字，过去 20 年间，硬件峰值 FLOPS 增长了 60,000 倍，而 DRAM/互连带宽在同期仅分别增长了 100 倍/30 倍。在这种趋势下，内存——特别是芯片内部/芯片间的内存传输——将很快成为部署大型 AI 模型的主要限制因素。因此，我们需要重新思考 AI 模型的训练、部署和设计方式，以及如何设计 AI 硬件来应对这个日益严峻的内存墙挑战。"

Hyatt 修改了图表，加入了 PCIe 总线各代以及 CXL 和 NVLink 的扩展线，显示 IO 架构速度的增长同样未能跟上硬件峰值 FLOPS 的步伐。

即使使用 InfiniBand 连接 NAND 驱动器，GPU 服务器的内存和闪存存储之间仍存在性能差距。通过 CXL (未来还有 UALink) 连接外部内存，可以缓解这一性能差距。

Hyatt 表示，内存架构优于 InfiniBand 网络，能够提供更高的性能，而 CXL 和 UALink 是可与 Nvidia 专有 NVLink 相媲美的开放内存架构标准。

除了提升性能外，UnifabriX 的 MAX 内存还可以节省成本。

在 UnifabriX 的示例场景中，16 台服务器（包括 4 台 GPU 服务器）中，每台配置 6 TB DRAM，总容量为 96 TB。总内存成本为 160 万美元，而 UnifabriX 指出内存利用率不到 30%。

通过添加一个容量为 30 TB 的 MAX 内存单元，这 16 台服务器现在每台可以配置 2.25 TB 内存，总计 66 TB 内存，成本为 67 万美元，且具有更高的利用率。服务器获得按需内存容量和带宽，应用程序运行更快。

在 UnifabriX 的示例中，不仅节省了 100 万美元的资本支出，还实现了 150 万美元的总拥有成本收益。