JEDEC固态技术协会正在开发一种方法,通过延长通道距离来增加高带宽内存(HBM)的整体容量,从而使每个GPU能够配备更多的HBM堆栈。
JEDEC是联合电子设备工程委员会。标准封装高带宽内存(SPHBM4)与HBM4设备类似,都采用硅基板,但在不同的基础接口芯片设计中使用了更少的引脚,可以安装在标准有机基板上。
JEDEC董事会主席Mian Quddus表示:"JEDEC成员正在积极制定标准,这些标准将定义用于AI数据中心的下一代模块,推动基础设施和性能创新的未来。"
HBM3拥有1024个引脚。HBM4设备拥有2048个引脚,数字信号通过这些引脚传输,使其性能翻倍。计划中的SPHBM4设备只有512个引脚,是HBM4的四分之一,但工作频率更高,采用4:1串行化技术,因此能够提供与HBM4相同的总吞吐量。这意味着在带宽方面,一个SPHBM4引脚可以完成四个HBM4引脚的工作量。
由于引脚数量更少,它们可以设置得更宽。JEDEC表示,这一变化使得连接到有机基板所需的宽松凸点间距成为可能。
硅基板支持高互连密度,线路间距超过10微米,而有机基板的间距小于20微米。有机基板的成本也更低。
HBM4和SPHBM4设备预计将具有相同的内存容量。安装在有机基板上的设备可以距离HBM4设备更远(具有更长的通道长度)。这可能会增加允许的SPHBM4堆栈数量,从而相比HBM4增加整体内存容量。
采用4:1引脚数量减少的SPHBM4内存堆栈将需要重新设计基础逻辑芯片。
基础逻辑芯片半导体公司Eliyan在LinkedIn上发表评论称:"我们的NuLink D2D/D2M互连解决方案已经证明能够在标准封装中实现4TB/s的带宽,这是最近发布的HBM4标准所需带宽的2倍,因此我们期待利用JEDEC在SPHBM4方面所做的工作,使有机基板成为解决高性能计算内存墙挑战的可行实施选项。"
连接SPHBM4内存堆栈及其基础逻辑芯片与加速器的中介层将从硅设计改为有机基板设计。
Quddus同时也是三星标准与技术推进副总裁。HBM供应商美光、三星和SK海力士都是JEDEC成员,正在开发HBM4E及相关技术。他们需要支持SPHBM4才能使其成为真正的标准。更高的HBM容量和更低的制造成本似乎是好主意,但这些收益是否足以说服三家HBM4供应商?JEDEC的SPHBM4公告最后指出:"JEDEC标准在开发过程中及之后可能会发生变化,包括被JEDEC董事会否决。"
Q&A
Q1:SPHBM4与HBM4有什么区别?
A:SPHBM4是标准封装高带宽内存,与HBM4类似但引脚数量更少。HBM4有2048个引脚,而SPHBM4只有512个引脚(四分之一),但通过更高频率和4:1串行化技术,能够提供与HBM4相同的总吞吐量。SPHBM4可以安装在成本更低的有机基板上,而不是硅基板。
Q2:SPHBM4技术能带来哪些优势?
A:SPHBM4技术主要带来三个优势:首先,由于引脚间距更宽,可以使用成本更低的有机基板;其次,设备之间可以有更长的通道距离,允许每个GPU配备更多的内存堆栈;最后,这些改进能够增加整体内存容量,同时降低制造成本。
Q3:SPHBM4标准能否成为行业标准?
A:目前还不确定。虽然美光、三星和SK海力士这三家主要HBM供应商都是JEDEC成员,但他们需要支持SPHBM4才能使其成为真正的标准。JEDEC也明确表示,该标准在开发过程中及之后可能会发生变化,甚至可能被JEDEC董事会否决。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。