尽管服务器总出货量有所减少,但平均每台服务器搭载8块H100,AI热潮仍为英伟达带来可观收益。
Omdia发布统计,认为在一定时期之内,服务器市场将继续以GPU为最主要的核心组件。这家市场研究机构估计,单英伟达H100 GPU这一款产品在今年第二季度的出货量就超过了900吨。
这个引人注目的数字来自Omdia最新一轮云与数据中心市场统计更新,报告提到数据中心的投资重心正持续发生显著转变。报告称,市场对配备八GPU的AI处理型服务器的旺盛需求推高了平均价格,同时也挤占了本应用于其他领域的投资。
有鉴于此,Omdia再次将2023年的服务器年出货总量下调100万台,较去年下降17%至1160万台。但与此同时,随着超大规模基础设施运营商花重金购置这些高规格服务器,目前服务器的平均交易价格的环比与同比增幅均已超过30%。
这份报告还指出,已经有超30万块英伟达H100 GPU进入到服务器制造商的装配线。而“900吨”这个数字是按单GPU加散热器约3公斤的重量相乘得出。
目前每块H100的价格约为2.1万美元,简直令人瞠目结舌。据此计算,Omdia预计2023年全球服务器市场的总收入将达到1140亿美元,同比增长8%,但单位出货量会出现显著下滑。
Omdia表示,这波对搭载高端GPU的AI服务器“尖货”的巨大需求,主要是由超大规模基础设施运营商和云服务商所推动。而新浪潮的受益者,自然就是那些服务器原始设计制造商(ODM),即我们俗称的白盒供应商。
Omdia方面宣称,第二季度内出货的八GPU服务器当中,有很大一部分是由ZT Systems所制造。这是一家总部位于美国的云服务器私营制造商,近段时间发展势头相当迅猛。而之所以有此判断,是因为英伟达第二季度135亿美元的收入当中有17%来自单一供应商,而英伟达CEO黄仁勋在台北电脑展期间展示过一台由ZT Systems制造的DGX服务器。
Omdia还认为,第二季度市场对八GPU服务器需求的增长,可能主要归功于Meta的批量采购。因为英伟达此前曾经表示,本季度有22%的收入由单一云服务商贡献而来。
展望未来一段时间,这股势头似乎并无放缓的趋势。这份报告预测,今年下半年及2024年上半年,用于处理AI负载的服务器还将继续广受欢迎、遍地开花。
但Omdia同时预测,随着企业需求的回升,当前第三季度和今年下一季度的常规服务器需求将出现超越正常季节性波动的强势反弹。预计第三季度收入将同比增长13%,第四季度更将加速至29%。
Omdia还给出具体预测数字,认为八GPU服务器的持续部署将拉动服务器市场在2024年上半年实现同比51%的收入增幅,届时预计将有100万块H100 GPU完成部署实装。
但这家分析机构也警告称,超大规模基础设施运营商和云服务商在AI训练领域的快速投资,并不能直接反映AI技术的快速普及。报告强调,目前AI技术的使用率仍然普遍较低,其中还援引一项调查结果,发现只有18%的美国原价使用过ChatGPT。据技术媒体The Register的最近报道,生成式AI目前在企业云计算成本中仍只占很小一部分。
此外,巨额投资撑起的这些AI训练用GPU系统往往能耗巨大,吞噬自然资源的速度远超想象。最近一位媒体行业高管就警告称,除非采取更激进的行动来贯彻可持续实践方案,否则AI最终将“吸干整个世界”。
在线广告跟踪技术商Ad Signal公司CEO兼创始人Tom Dunning在本月于阿姆斯特丹召开的国际广播大会(IBC)上发表讲话,称虽然不可能强行阻止各类组织放弃AI背后的商业利益,但显然“迫切需要最大限度降低由此带来的碳排放负担”。
Dunning宣称,目前数据中心设施的二氧化碳排放量已经占全球总体二氧化碳排放量的2.5%至3.7%。而从现在到2030年,AI技术的普及预计将以37%的复合年增长率(CAGR)长期保持递增。
好文章,需要你的鼓励
这项研究由浙江大学、复旦大学等机构联合完成,提出了ReVisual-R1模型,通过创新的三阶段训练方法显著提升了多模态大语言模型的推理能力。研究发现优化的纯文本冷启动训练、解决强化学习中的梯度停滞问题、以及分阶段训练策略是关键因素。ReVisual-R1在各类推理基准测试中超越了现有开源模型,甚至在某些任务上超过了商业模型,为多模态推理研究开辟了新途径。
这项研究提出了一种名为"批评式微调"的创新方法,证明仅使用一个问题的批评数据就能显著提升大语言模型的推理能力。研究团队对Qwen和Llama系列模型进行实验,发现这种方法在数学和逻辑推理任务上都取得了显著提升,平均提高15-16个百分点,而且只需要强化学习方法1/20的计算资源。这种简单高效的方法为释放预训练模型的潜在推理能力提供了新途径。
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。