三星、SK海力士和美光正在加紧准备向英伟达和其他AI加速器供应商提供第四代高带宽内存(HBM4),以提升AI训练和推理速度。
高带宽内存是一种分层DRAM,直接放置在GPU旁边的桥接中介层芯片上,比与x86 CPU配套使用的插槽连接DRAM提供更大的内存容量和更高的内存带宽。HBM分为不同代次,专为特定GPU设计,每一代通常比前代提供更高的带宽和更大的容量。目前我们正处于HBM3E(扩展版)代次,专为英伟达Blackwell GPU设计,支持最多12层DRAM堆叠,提供36GB容量,每引脚9.2-9.8 Gbps数据传输速度,总带宽达1.2-1.28 TB/s。
HBM4专为英伟达Rubin GPU设计,可搭载高达288GB的HBM4内存。AMD的MI455可搭载更多内存,达432GB。JEDEC的HBM4标准支持4层、8层、12层和16层堆叠,芯片容量分别为24 Gb(3GB)或36 Gb(4GB)。每个堆叠的容量范围从12GB到64GB。HBM4基准每引脚数据传输速率为8 GB/s,支持扩展到更高水平。
英伟达去年首次发布Rubin时希望HBM4整体带宽达到13 TB/s,但现在的目标是从12层HBM4堆叠中实现22 TB/s。
这促使美光、三星和SK海力士等HBM4开发厂商测试其数据传输速率,三星不得不优化设计以在更高速度下实现良好的产量。路透社和《韩国日报》报道称,三星达到了新的速度要求,将于2月开始向英伟达出货HBM4芯片,同时也将向AMD供应HBM4芯片。
彭博社的报道有所不同,称三星接近获得英伟达认证,但尚未签署出货协议。
HBM市场领导者SK海力士已向英伟达交付HBM4样品,但尚未透露何时开始向GPU制造商出货HBM4芯片。该公司将于1月29日公布第四季度财报,三星也是如此,届时我们可能会听到更多消息。
第三家HBM4制造商美光也已向英伟达交付16层样品,并表示其2026年HBM4全部产能已售罄。
HBM5和HBM6代次可能分别采用20层和24层堆叠。
Q&A
Q1:HBM4相比HBM3E有什么提升?
A:HBM4专为英伟达Rubin GPU设计,支持最多16层堆叠,单堆叠容量可达64GB,基准每引脚数据传输速率为8 GB/s。英伟达目标从12层HBM4堆叠中实现22 TB/s带宽,远超HBM3E的1.2-1.28 TB/s。
Q2:哪些厂商在生产HBM4芯片?
A:目前三大厂商正在开发HBM4:三星、SK海力士和美光。三星据报将于2月开始向英伟达出货,SK海力士已交付样品但未透露出货时间,美光也已交付16层样品且2026年产能已售罄。
Q3:HBM4主要应用在哪些产品上?
A:HBM4主要用于AI加速器,包括英伟达Rubin GPU(可搭载288GB HBM4)和AMD MI455(可搭载432GB HBM4),用于提升AI训练和推理速度,比传统插槽连接DRAM提供更大容量和更高带宽。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。