JEDEC固态技术协会正在开发一种方法,通过延长通道距离来增加高带宽内存(HBM)的整体容量,从而使每个GPU能够配备更多的HBM堆栈。
JEDEC是联合电子设备工程委员会。标准封装高带宽内存(SPHBM4)与HBM4设备类似,都采用硅基板,但在不同的基础接口芯片设计中使用了更少的引脚,可以安装在标准有机基板上。
JEDEC董事会主席Mian Quddus表示:"JEDEC成员正在积极制定标准,这些标准将定义用于AI数据中心的下一代模块,推动基础设施和性能创新的未来。"
HBM3拥有1024个引脚。HBM4设备拥有2048个引脚,数字信号通过这些引脚传输,使其性能翻倍。计划中的SPHBM4设备只有512个引脚,是HBM4的四分之一,但工作频率更高,采用4:1串行化技术,因此能够提供与HBM4相同的总吞吐量。这意味着在带宽方面,一个SPHBM4引脚可以完成四个HBM4引脚的工作量。
由于引脚数量更少,它们可以设置得更宽。JEDEC表示,这一变化使得连接到有机基板所需的宽松凸点间距成为可能。
硅基板支持高互连密度,线路间距超过10微米,而有机基板的间距小于20微米。有机基板的成本也更低。
HBM4和SPHBM4设备预计将具有相同的内存容量。安装在有机基板上的设备可以距离HBM4设备更远(具有更长的通道长度)。这可能会增加允许的SPHBM4堆栈数量,从而相比HBM4增加整体内存容量。
采用4:1引脚数量减少的SPHBM4内存堆栈将需要重新设计基础逻辑芯片。
基础逻辑芯片半导体公司Eliyan在LinkedIn上发表评论称:"我们的NuLink D2D/D2M互连解决方案已经证明能够在标准封装中实现4TB/s的带宽,这是最近发布的HBM4标准所需带宽的2倍,因此我们期待利用JEDEC在SPHBM4方面所做的工作,使有机基板成为解决高性能计算内存墙挑战的可行实施选项。"
连接SPHBM4内存堆栈及其基础逻辑芯片与加速器的中介层将从硅设计改为有机基板设计。
Quddus同时也是三星标准与技术推进副总裁。HBM供应商美光、三星和SK海力士都是JEDEC成员,正在开发HBM4E及相关技术。他们需要支持SPHBM4才能使其成为真正的标准。更高的HBM容量和更低的制造成本似乎是好主意,但这些收益是否足以说服三家HBM4供应商?JEDEC的SPHBM4公告最后指出:"JEDEC标准在开发过程中及之后可能会发生变化,包括被JEDEC董事会否决。"
Q&A
Q1:SPHBM4与HBM4有什么区别?
A:SPHBM4是标准封装高带宽内存,与HBM4类似但引脚数量更少。HBM4有2048个引脚,而SPHBM4只有512个引脚(四分之一),但通过更高频率和4:1串行化技术,能够提供与HBM4相同的总吞吐量。SPHBM4可以安装在成本更低的有机基板上,而不是硅基板。
Q2:SPHBM4技术能带来哪些优势?
A:SPHBM4技术主要带来三个优势:首先,由于引脚间距更宽,可以使用成本更低的有机基板;其次,设备之间可以有更长的通道距离,允许每个GPU配备更多的内存堆栈;最后,这些改进能够增加整体内存容量,同时降低制造成本。
Q3:SPHBM4标准能否成为行业标准?
A:目前还不确定。虽然美光、三星和SK海力士这三家主要HBM供应商都是JEDEC成员,但他们需要支持SPHBM4才能使其成为真正的标准。JEDEC也明确表示,该标准在开发过程中及之后可能会发生变化,甚至可能被JEDEC董事会否决。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。