2013年,亚马逊云服务宣布推出新的C3实例类型,并模糊地提及了通过英特尔虚拟功能接口实现的"增强网络"功能。
这家云计算巨头后来承认,"增强网络"是通过使用增强型网卡实现的,这些网卡具备足够的处理能力来运行防火墙和负载均衡器等工作负载,同时处理常规的数据包传输。
这种安排对AWS很有效,因为将防火墙转移到网卡上释放了一些服务器容量供云巨头出租。它还提高了网络流量速度,并通过为多租户工作负载提供隔离环境来运行网络功能,从而带来一些安全改进。
其他超大规模云服务商也创建了类似的卡片——后来被称为智能网卡或"数据处理单元"(DPU)。Mellanox也看好这个想法,并在2017年将其转化为名为"BlueField"的DPU产品,宣传其在全闪存存储区域网络中加速数据传输的理想性能。
到2019年,VMware注意到了智能网卡,并开始调整其旗舰虚拟化管理程序以在这些设备上运行,使其能够托管网络功能。英伟达也注意到了BlueField,并在2019年收购了Mellanox。
2021年,英特尔携自己的硬件加入这一领域,尽管它称之为"基础设施处理单元"而非智能网卡或DPU。AMD在一年后通过收购DPU制造商Pensando紧随其后。
同样在2022年,VMware发布了名为vSphere分布式服务引擎的产品,可以管理智能网卡和运行在其上的分布式防火墙。
此时,智能网卡获得了VMware、英特尔、AMD和英伟达的支持,这些公司都拥有大量数据中心客户,并推动DPU作为将客户网络带入光明新未来的部署就绪解决方案。
然而随后并没有太多进展。
VMware告诉The Register,分布式服务引擎并未受到客户青睐。分析公司Crehan最近发布的数据显示,租赁服务器容量的服务提供商仍然是DPU的主要客户,该公司"尚未看到在此市场之外的广泛渗透"。
Crehan还注意到"新的创新、用例和部署模型,如支持DPU的以太网交换机和CPU替代方案,这些应该会扩大客户群"。
思科是交换机中DPU的主要支持者,将其作为"Hypershield"安全产品和N9300智能交换机的核心。这验证了DPU的实用性,但不会推动大批量销售。
不过,蓬勃发展的AI领域可能会改变这一状况。分析公司Gartner最近发布了边缘AI和在Kubernetes上运行的参考架构。两个指南都建议使用DPU——英伟达在其AI云参考架构中也是如此建议。
就在几天前,另一个主要参与者红帽也支持DPU。IBM的开源部门悄然宣布在OpenShift 4.19中推出"OpenShift DPU操作器"的技术预览版。
红帽告诉我们,他们认为DPU可以运行虚拟交换机、负载均衡器或防火墙。
OpenShift产品管理高级经理兼红帽杰出工程师Ju Lim告诉The Register,DPU还可用于"通过直接NVMe管理优化数据库和分析工作负载"。
Lim认为这些卡片在AI领域也有作用。他建议:"AI驱动的推荐引擎可以在DPU上运行推理工作负载,同时将主机资源专用于持续模型重训练,最大化性能和资源效率。"
因此,AI革命可能最终带来DPU革命。这确实是2025年的典型结果。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。