NVIDIA GTC 2024 大会已经于 2024 年 3 月 18 日至 21 日举行,今年的 GTC 大会的焦点毫无疑问就是新一代 GPU 架构 Blackwell 以及搭载新一代 GPU 架构的产品 B100、B200 以及 GB200 等。这里先来解读一下 B100 和 B200。
老黄整个的介绍下来,可能你会发现英伟达是在弱化 PCIe 板卡的概念,并在向 SXM 架构收敛。介绍一下 SXM,SXM 架构是一种高带宽插座式解决方案,用于将 NVIDIA Tensor Core 加速器连接到其专有的 DGX 和 HGX 系统。而 SXM 架构其实并不算 "新鲜玩意",在 NVIDIA 的每一代企业级计算产品中都是有 SXM 形态的,比如 P100、V100、A100、H100。SXM 相比于 PCIe 的优势在哪里呢,一个在带宽互联、一个在体型体态。PCIe 的带宽通常较低,虽然可以通过 NVLInk 桥接达到和 SXM 相同的带宽,但仍然会受到 PCIe 总线的限制,而且 SXM 在多 GPU 互联方面也具有优势,而这些优势在大模型时代尤其重要。另外由于 SXM 没有板卡外壳,不依赖于 PCIe 卡槽,同样密度的机箱能够插更多的计算卡,能够提升计算卡的布置密度。所以在大模型 AI 计算中心构建方面,SXM 架构形态的优势明显。下面的是 H100 SXM 的产品图。
回到 Blackwell,B100 其实可以直接参考英伟达的传统,比如看作是 A100、H100 的延伸,是其系列的下一代。但是英伟达似乎这次是直接越过了 B100,重心是在推 B200。那么 B200 又是什么呢,这个可以原地参考之前的 H200,关于 H200,可以翻翻我之前的对于 H200 的解读内容《极智芯 | 不要神乎其神 来看全球最强芯H200的提升到底在哪里》。其实简单理解就是两颗 B100 die Chiplet 了一下,形成了 die-to-die 的架构,关于 Chiplet 的解读,可以翻下我的这篇内容《极智芯 | 先进封装技术Chiplet》。当然,B200 相对于 B100 和 H200 相对于 H100 又不太一样,之前的 H200 相对于 H100,其提升点主要是在显存方面,但是 B200 相对于 B100 的提升则是全方位的。为了说明这一点,我整理了 H100、H200、B100、B200 的主要性能参数对比。
来分析一下,H200 相对于 H100,显存提升到了 141 GB,而这里的 B100 和 B200 在显存容量方面进一步提升,已经来到 192GB (这个 192GB 是不是稍微有些熟悉,苹果 M2 Ultra 最大也是支持 192GB 的统一内存),当然这种提升会是直接来自 HBM3 -> HBM3e 带来的提升受益。你可能还会发现,B200 其实相对于 B100 在显存方面是一致的,包括显存容量和显存带宽。这里就需要好好解释一下了,H200 相对于 H100 的显存提升主要是因为堆叠了更多颗的 HBM3,而 B100 相对于 H100 或者说 B200 相对于 H200 的提升主要受益于 HBM 本身的提升,而 B200 和 B100 的显存情况一致是因为 B200 和 B100 都是 HBM3e,而且颗数也一样。这样应该解释清楚了。除了显存,另外很重要的点在算力,Blackwell 架构新增加了 FP4 和 FP6 精度,这可以认为是之前 FP8 精度的更低版,所以 FP4 相对于 FP8、FP8 相对于 FP16 算力之间会有倍数的差别。在算力方面,B200 相对于 B100 对比 H200 相对于 H100 就不一样了,B200 相对于 B100 在算力方面可谓全面提升,但是并不是理想状态下 two-die 呈倍数的提升,这里其实你也可以认为英伟达给自己 "留了一手"。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。