2024年美国主要的人工智能芯片供应商一览

英伟达（Nvidia）的人工智能故事理所当然地吸引了投资者的目光，不过竞争对手也在准备替代方案。AMD、英特尔、Cerebras、Tenstorrent、Groq、D-Matrix 和所有云服务提供商将如何影响市场呢？

对人工智能有所了解的人都知道，Nvidia在人工智能加速器领域占据数据中心的主导地位。从市场份额、硬件、软件和生态系统的角度来看，不存在悬念。但人工智能是新的黄金，根据 Gartner 的数据，2024 年的人工智能收入将达到 670 亿美元，2027 年将增长到 1190 亿美元，因此所有竞争对手都在转向生成式人工智能。新的 AMD MI300 看起来很有竞争力，但在 Nvidia 的 人工智能矿井中淘金的并非只有 AMD 一家。让我们来看看这一领域的竞争格局，评估一下胜负。

竞争格局简介

几年前，我们曾经看到许多资金雄厚的初创公司在追 Nvidia，但现在竞争格局已经发生了变化，大部分竞争者调整了产品计划，转而追生成式人工智能（包括推理和训练），而有些企业则试图避开 Nvidia 的锋芒。以下是笔者对这些公司的总结。我省略了很多初创公司，因为这些初创公司尚未上市或只是主打边缘人工智能，边缘人工智能超出了本文的讨论范围。以下是笔者对各主要玩家的观点。

美国的主要数据中心人工智能加速器提供商一览（图：笔者）

市场动态

我见过一些分析师预测 Nvidia 仅占据 80% 的市场份额。我没有数据可以反驳这种说法，但在我看来似乎有点偏差。我认为Nvidia在数据中心人工智能加速领域的份额到今年年底将接近 90% 或更多。为什么这么说呢？如果AMD“仅仅”实现了Lisa Su最近的2024年预测，即35亿美元的新增营收，那么大约只占 5%的份额。我猜测其他竞争对手在总体上最多也只能达到20-30亿美元。（我相信AMD将至少超额完成2024年的目标，或许还能再增加十亿或两亿。）

以下是关于美国的主要数据中心人工智能加速器提供商的说明。

NVIDIA

无需多说，这家人工智能领域的领军企业旗下的新芯片路线图已经翻了一番，这很可能是利用人工智能加速芯片设计的结果。千万不要错过下个月的 GTC。如果读者不能参加的话，我会从现场报道 GTC！

AMD

在我反驳了AMD的发布声明后，AMD的工程师重新运行了一些基准测试，结果看起来更好了。但在他们展示 MLPerf 同行评审结果和/或具体收入之前，我估计其性能与 H100 差不多，不会有明显提升。MI300更大的HBM3确实将使AMD在云计算和企业推理市场上处于非常有利的位置。AMD 用于 LLM 的软件和模型最近获得了很多赞誉，我们猜测除中国外，每个云服务提供商和超大规模计算平台现在都在测试该芯片。AMD 在今年年底将稳居第二，在 25 年和 26 年还有很大的增长空间。100 亿美元的目标肯定是有可能的。

SambaNova 和 Groq

SambaNova 和 Groq 现在比两年前更加专注于训练和推理服务。Groq 的 Llama2 70B 的推理性能简直令人惊叹，大约是 Nvidia 的 10 倍，不过这些说法还需要 MLPerf 等同行评审基准的验证。但他们的演示让我大开眼界。

事实上，Groq LPU™ 推理引擎的输出令牌吞吐量比所有其他基于云的推理提供商快 18 倍。

Groq 的 Llama 2 70B 参数模型的每秒吞吐量（令牌数）轻松击败了一系列Nvidia GPU 推理平台，高出 14 倍 （图： LLMPerf Leaderboard）

artificialAnalysis.ai 正好刚刚发布的 nbew 基准展示了 Groq 的推理性能和经济实惠性。下面这张图表令人瞠目，就在我发表这篇文章的同时发布的。

刚刚公布的结果以及其他更多结果。他们需要改变坐标轴才能更好地展示 Groq 的结果！(图：artificialanalysis.ai)

SambaNova 去年秋天曾推出 SN40 下一代芯片，目前正将 SN40 作为一项服务提供，预计今年晚些时候提供机架发货供本地部署使用。老实说，他们的故事挺不错的，但我觉得他们不太透明，有点令人不快。要想在训练方面获胜，他们必须比 Nvidia 做得更好。还有 AMD。还有英特尔。还有 Cerebras。基准测试呢？客户呢？拜托了！

这套 SambaNova 系统于 2022 年交付给美国阿贡国家实验室。(图：SambaNova)

Cerebras

这家Wafer-scale Engine （WSE）公司在Andrew Feldman的领导下今年继续获得进展，拿下Mayo Clinic的交易后还拿下其他制药公司和 G42 Cloud 的交易。各位密切关注一下，据说他们的集成系统单价为 200 万美元，可能是市场上速度最快的（希望他们能公布 MLPerf）。我喜欢 WSE 的一点是，WSE拥有大量的 SRAM 内存，无需扩展即可支持大型语言模型。而当确实需要扩展时，与其他（较小）平台所需的编码操作相比，Cerebras 编译器使其变得非常简单。

Cerebras 首席执行官 Andrew Feldman 站在准备交付给客户的箱子上。(图：Cerebras)

Cerebras 是一家成功的人工智能初创企业，拥有足够的资金继续发展壮大。Cerebras也有足够的资金研发 WSE-3，预计将在 2024 年上半年宣布。

英特尔

英特尔目前在人工智能领域遇到的阻碍是所有人都在等Gaudi 3 ，也就是Gaudi 2 即将推出的后续产品。其实 Gaudi 2 看起来相当不错，但是AMD抢走了Gaudi 2在销售和市场上的风头。除了 Pat Gelsinger 宣称的 4 倍性能提升和 2 倍网络带宽之外，大家对 Gaudi 3 知之甚少。我对于Gaudi 3的细节了解不足，但我预计，如果Gaudi 3 能够赶紧发布，英特尔将在 2024 年底排名第三。否则，我认为 Cerebras 将在 2004 年底排名第三，收入远远超过 10 亿美元。

英特尔Gaudi 3 看起来将于 2024 年末面世，这几乎可以确保 AMD 在市场上稳居第二。同时，英特尔的至强服务器 CPU 人工智能在用于推理处理性能方面仍比 AMD 有明显优势，AMD 可能会在今年晚些时候试图缩小这一差距。

高通

高通公司的 Cloud AI100 推理引擎凭借其全新的 Ultra 平台再次受到关注，该平台可为生成式人工智能提供四倍更高的性能。最近，HPE 和联想的智能边缘服务器、Cirrascale 甚至 AWS 云都选择了Cloud AI100。AWS 推出了用于推理实例的高能效骁龙衍生产品，与基于当前一代图形处理器（GPU）的亚马逊 EC2 实例相比，性价比最高可提高 50%。鉴于 AWS 拥有自己的 Inferentia 加速器，这说明云计算领导者看到了市场对高通公司的需求，说明了很多问题。我一直在想高通公司何时以及是否会宣布 Cloud AI100 的后续版本，但如果今年晚些时候我们看不到更新的版本我会感到惊讶。

基于 PCIe 的 AI100 云（图：高通）

云服务提供商作为自家芯片设计商的崛起

虽然 AMD 和英特尔的芯片看起来不错，但 Nvidia 最大的竞争威胁可能来自其最大的客户：超大规模提供商。在 CSP （云服务提供商）中，谷歌凭借新的 TPU v5p 和自家对人工智能引擎的巨大需求明显处于领先地位。谷歌云平台还建立了一个庞大的Nvidia H100集群，可扩展到26,000个GPU，为其云客户提供服务。不过，谷歌应用程序将继续使用自家 TPU 生态系统，这得益于新的 TPU v5p（p表示性能）及其“超级计算机”，带宽是 TPU v4 的两倍，并用于新的谷歌Gemini和聊天服务的训练和推理处理，取代了 Bard。

新的 v5p 令每个 Pod 的芯片数量增加了一倍，每个芯片每秒可提供 918 万亿次运算。（图：谷歌）

微软去年秋天推出自己的 Nvidia GPU 的替代产品“Maia”，从而完成了云计算自家人工智能加速器三足鼎立的局面。虽然我还没有看到基准测试结果，但不得不相信 与OpenAI 的合作伙伴关系一定教会了他们如何加速加速大语言模型，预计 Maia 将在 Azure 内成功运行大量 CoPilot 循环。

为 Maia 100 AI 加速器定制的机架及其“小搭档”：位于华盛顿州雷德蒙德的微软实验室的一个热室中。当芯片处理人工智能工作负载的计算需求时，“小搭档”就像汽车散热器一样，循环液体在机架来回倒腾，以达到冷却芯片的目的。（图：微软）

同时，亚马逊 AWS 在继续改进内部推理和训练平台，这两个平台当然就是 Inferentia 和 Trainium。Trainium2 的训练性能提高了四倍，现在拥有 96 GB 的 HBM。该公司再次陷入完全缺乏有意义基准的困境。大家对 AWS 的网站上客户名单中的大多数公司名称都不太熟悉。这种情况将会改变，因为公司内部对这两款芯片的使用将有助于 AWS 改进软件，当然，更新的硬件版本一定会比 AWS 早期的尝试更好。

结论

正如大家看到的，市场格局正在迅速演变，主要芯片供应商、初创公司和超级计算公司都在改进自己的人工智能芯片，以便在人工智能淘金热中分一杯羹。但将各个玩家作比较有一定的困难，尤其是提供商更喜欢不透明的环境，而不是开放的竞争环境。

我们不指望 AMD 和 AWS 会发布 MLPerf 基准测试，但如果谷歌不发布 MLPerf 基准测试，我们会感到惊讶。英特尔在Gaudi3准备就绪后也会发布 MLPerf 基准测试。新的 MLPerf 基准测试预计将于下月发布。

路透社的一条引人注目的消息称， Nvidia将开始合作推动定制芯片的发展，超大规模企业和汽车公司可以打造自家定制的Nvidia GPU的替代品，这将有助于定制芯片的蓬勃发展。