Panmnesia 凭借 GPU CXL 内存扩展技术获奖

Panmnesia 通过在统一虚拟内存空间中添加快速 CXL 访问外部内存来扩充 GPU 内存的方案，赢得了 CES 创新奖。

Panmnesia 表示，大规模生成式 AI 训练任务可能会受到内存限制，因为 GPU 仅限于 GB 级别的高带宽内存 (HBM)，而实际可能需要 TB 级别的内存。解决这个问题的常规方法是增加更多 GPU，这虽然能获得更多内存，但代价是产生冗余的 GPU。Panmnesia 使用了其 CXL (Computer eXpress Link) 技术，通过 PCIe 总线将外部内存添加到主机处理器，这一过程由 Panmnesia 的 CXL 3.1 控制器芯片调控。该控制器的往返时间少于 100 纳秒，比 SMT (同步多线程) 和 TPP (透明页面放置) 方法所需的 250 纳秒快 3 倍以上。

Panmnesia 发言人表示："我们的 GPU 内存扩展套件...因其能够有效降低 AI 基础设施成本，已经引起了 AI 数据中心领域公司的广泛关注。"

该技术于去年夏天公布，并在 10 月的 OCP 全球峰会上展示。公司提供了一份可下载的 CXL-GPU 技术简报，其中提到其 CXL 控制器具有两位数纳秒的延迟，据了解约为 80 纳秒。文档中的高层次图表展示了该设置可以连接 DRAM 或 NVMe SSD 端点 (EPs) 到 GPU。

更详细地说，第二张 Panmnesia 图表显示 GPU 通过 PCIe 总线连接到 CXL Root Complex 或主机桥接设备，该设备将 GPU 的高带宽内存（主机管理的设备内存）与 CXL 端点设备内存统一到一个统一虚拟内存空间 (UVM) 中。

这个主机桥接设备"一端连接系统总线端口，另一端连接多个 CXL 根端口。该设置的关键组件之一是 HDM 解码器，负责管理每个根端口的系统内存（称为主机物理地址，HPA）的地址范围。这些根端口设计灵活，能够通过 PCIe 连接支持 DRAM 或 SSD EPs。" GPU 可以通过加载-存储指令访问这个统一的可缓存空间中的所有内存。

Panmnesia 在 YouTube 上发布了一个视频，以简化形式展示了其 CXL 访问 GPU 内存方案。