Enfabrica的EMFASYS技术结合了以太网RDMA和CXL技术,打造出一款内存设备,可连接至AI GPU服务器计算机架,旨在提供弹性内存带宽和容量,减轻GPU高带宽内存(HBM)的负载。
该内存设备通过3.2 Tbps ACF-S SuperNIC交换机与GPU服务器连接,该交换机将PCIe/CXL和以太网架构相结合,通过多端口800 GbE连接实现GPU和加速器的互联。交换机的核心是ACF-S芯片,提供800和400 GbE接口、32个网络端口的高基数以及160条PCIe通道。它支持144条CXL 2.0通道,可配置高达18TB的DDR5内存池。
Enfabrica首席执行官Rochan Sankar表示:"AI推理面临内存带宽扩展问题和内存容量堆叠问题。随着推理变得更加智能体导向而非对话式,更具记忆性而非遗忘性,当前的内存访问扩展方式将无法满足需求。我们构建EMFASYS来创建弹性的机架级AI内存架构,以前所未有的方式解决这些挑战。客户很乐意与我们合作,为其生成式AI工作负载构建更具扩展性的内存移动架构,实现更好的Token经济效益。"
Enfabrica由Sankar和首席开发官Shrijeet Mukherjee于2019年创立。其已知融资始于2022年的5000万美元A轮融资。B轮融资于2023年6月筹集了1.25亿美元,C轮融资于去年11月获得1.15亿美元,累计融资总额达到2.9亿美元。
从某种意义上说,随着生成式AI在过去几年的爆炸式增长,市场已经向Enfabrica倾斜。该公司表示,生成式、智能体驱动和推理驱动的AI工作负载正在指数级增长——在许多情况下,每次查询所需的计算量比以前的大语言模型部署多10到100倍,在AI云中每天要处理数十亿次批量推理调用。
除非GPU内存(HBM)保持加载状态,否则昂贵的GPU将处于空闲状态,浪费购买配备这些GPU服务器的成本。Enfabrica声称其技术满足了AI云的需求,即在扩展到更多用户/智能体数量、累积上下文和Token量的同时,最大化GPU和HBM资源的利用率。
ACF-S交换机能够在大量内存通道和以太网端口之间分条处理内存事务。据介绍,它可在微秒级提供读取访问时间,软件支持的缓存层次结构在AI推理管道中隐藏传输延迟。其功能包括高吞吐量、零拷贝、直接数据放置,并可在四或八GPU服务器复合体之间进行导向,或者跨18个以上支持CXL的DDR内存通道。其基于InfiniBand Verbs的远程内存软件栈支持GPU服务器与通用DRAM之间通过400/800 GbE网络端口束进行大规模并行、带宽聚合的内存传输。
Enfabrica声称不再需要购买更多GPU来获得更多HBM容量。其方案是:使用其交换机来增加DRAM容量,更好地利用现有GPU。据称该交换机的性能超越基于闪存的推理存储替代方案,延迟降低100倍,支持无限次写入/擦除事务。Enfabrica表示,"使用EMFASYS扩展内存可以缓解仅基于推理服务规模需求而线性增长GPU HBM和CPU DRAM资源的税负。"
群联科技的aiDAPTIV+软件也提供从HBM到DRAM再到NAND的卸载功能,但它不使用以太网RDMA和CXL,因此与EMFASYS相比是一种相对较慢的技术。
Enfabrica是超以太网联盟(UEC)的活跃咨询成员,也是超加速器链路(UALink)联盟的贡献者。
EMFASYS AI内存架构系统和3.2 Tbps ACF SuperNIC芯片目前正在与客户进行采样和试点测试。更多信息可以在这里获取,特别是关于ACF SuperNIC硅片、系统和主机软件的详细信息。
好文章,需要你的鼓励
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
麻省理工学院研究发现过度依赖AI会导致认知债务,削弱基本思维能力。研究表明交替进行无辅助思考和AI支持工作的模式能保持认知敏锐度。这种认知高强度间歇训练模仿体能训练中的HIIT模式,通过短时间高强度思考与恢复期交替进行,可以强化大脑神经回路,防止认知衰退,提升独立思考能力。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。