2013年,亚马逊云服务宣布推出新的C3实例类型,并模糊地提及了通过英特尔虚拟功能接口实现的"增强网络"功能。
这家云计算巨头后来承认,"增强网络"是通过使用增强型网卡实现的,这些网卡具备足够的处理能力来运行防火墙和负载均衡器等工作负载,同时处理常规的数据包传输。
这种安排对AWS很有效,因为将防火墙转移到网卡上释放了一些服务器容量供云巨头出租。它还提高了网络流量速度,并通过为多租户工作负载提供隔离环境来运行网络功能,从而带来一些安全改进。
其他超大规模云服务商也创建了类似的卡片——后来被称为智能网卡或"数据处理单元"(DPU)。Mellanox也看好这个想法,并在2017年将其转化为名为"BlueField"的DPU产品,宣传其在全闪存存储区域网络中加速数据传输的理想性能。
到2019年,VMware注意到了智能网卡,并开始调整其旗舰虚拟化管理程序以在这些设备上运行,使其能够托管网络功能。英伟达也注意到了BlueField,并在2019年收购了Mellanox。
2021年,英特尔携自己的硬件加入这一领域,尽管它称之为"基础设施处理单元"而非智能网卡或DPU。AMD在一年后通过收购DPU制造商Pensando紧随其后。
同样在2022年,VMware发布了名为vSphere分布式服务引擎的产品,可以管理智能网卡和运行在其上的分布式防火墙。
此时,智能网卡获得了VMware、英特尔、AMD和英伟达的支持,这些公司都拥有大量数据中心客户,并推动DPU作为将客户网络带入光明新未来的部署就绪解决方案。
然而随后并没有太多进展。
VMware告诉The Register,分布式服务引擎并未受到客户青睐。分析公司Crehan最近发布的数据显示,租赁服务器容量的服务提供商仍然是DPU的主要客户,该公司"尚未看到在此市场之外的广泛渗透"。
Crehan还注意到"新的创新、用例和部署模型,如支持DPU的以太网交换机和CPU替代方案,这些应该会扩大客户群"。
思科是交换机中DPU的主要支持者,将其作为"Hypershield"安全产品和N9300智能交换机的核心。这验证了DPU的实用性,但不会推动大批量销售。
不过,蓬勃发展的AI领域可能会改变这一状况。分析公司Gartner最近发布了边缘AI和在Kubernetes上运行的参考架构。两个指南都建议使用DPU——英伟达在其AI云参考架构中也是如此建议。
就在几天前,另一个主要参与者红帽也支持DPU。IBM的开源部门悄然宣布在OpenShift 4.19中推出"OpenShift DPU操作器"的技术预览版。
红帽告诉我们,他们认为DPU可以运行虚拟交换机、负载均衡器或防火墙。
OpenShift产品管理高级经理兼红帽杰出工程师Ju Lim告诉The Register,DPU还可用于"通过直接NVMe管理优化数据库和分析工作负载"。
Lim认为这些卡片在AI领域也有作用。他建议:"AI驱动的推荐引擎可以在DPU上运行推理工作负载,同时将主机资源专用于持续模型重训练,最大化性能和资源效率。"
因此,AI革命可能最终带来DPU革命。这确实是2025年的典型结果。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。