此外,芯片巨头还发布了关于E核数据中心芯片的更多消息。
英特尔日前在Hot Chips 2023大会上公布了下一代至强处理器即将迎来的更多架构变化,包括对内存子系统和IO连接的改进。
虽然x86巨头的第五代至强Scalable处理器还有几个月时间才会正式上市,但英特尔已经在展望接下来的Sierra Forest和Granite Rapids等至强新成员,而且似乎很有信心在内存和IO方面力压多年来的竞争对手AMD。
英特尔的现款至强Scalabe处理器(代号为Sapphire Rapids)最高可支持8条DDR5 DRAM通道、速度为4800 MT/秒,以及80条PCIe 5.0/CXL 1.1连接通道。相比之下,AMD Epyc 4平台则分别提供12条DDR5通道和128条PCIe通道。
英特尔的下一代至强(可能是第六代)也将转向12条DDR5/MCR DRAM DIMM通道配置,并提供136条PCIe 5.0/CXL 2.0接口通道。此外,英特尔还提到至强处理器系列将支持每通道双DIMM(2DPC)配置。去年11月,AMD曾在将Epyc 4推向12条内在通道时遭遇到一些问题。
多路复用器组合列(MCR)DIMM的亮点,在于承诺带来远超传统DDR5 DRAM的内存带宽。英特尔曾在今年3月的演示中公布了预生产的Granite Rapids至强,它能以8800 MT/秒的速度接入MCR模块。这样的成绩几乎达到现有服务器平台上现代DDR5速度(4400至4800 MT/秒)的2倍。
英特尔研究员Ronak Singhal在Hot Chips会前的简报中表示,“从Sapphire Rapids到这一代新平台,我们的内存带宽将提高近3倍。”
据了解,英特尔Sierra Forest至强当中使用的E核心将采用针对效率和吞吐量进行优化的精简核心架构。
虽然目前关于Sierra Forest的详细信息仍然有限,但已经知晓的情况是该处理器将拥有最多144个核心,且提供单插槽与双插槽配置。
我们还了解到,英特尔将提供该芯片的缓存优化版本,每4 MB的L2池对应2个或4个核心。Singhal解释道,“有些客户希望核心数量少点、但每核性能更强一些。在这种情况下,那就是由2个核心共享这4 MB L2。”
在另一方面,对于需要运行大量浮点运算(包括AI和机器学习)的朋友,Sierra Forest将支持BF16和FP16加速。据我们了解,这源自本代至强包含的AVX10支持能力。
在性能方面,英特尔也对其E核心做出了相当大胆的承诺。在机架层面,英特尔称Sierra Forest与Sapphire Rapids相比,所提供的线程数量约为2.5倍、每瓦性能可提高240%。
Singhal表示,“而且在最新的至强处理器上,不仅仅是线程密度提高了,每线程性能也几乎完全不受影响。”
英特尔表示,与Sapphire Rapids相比,配备P核的Granite Rapids至强将提供更多计算核心与更强的AMX性能。
至于倾力打造的P核Granite Rapids芯片,英特尔承诺其较Sapphire Rapids拥有更高的核心数量,同时改进了AMX引擎并扩展了对AI/机器学习工作负载中的FP16计算支持。但英特尔并未透露最终产品具体会包含多少个核心。
英特尔本次公布的其他细节,还包括更大的内存加密密钥、经过改进的预取和分支预测,以及更快的浮点乘法运算速度等。
根据英特尔透露的消息,Sierra Forest计划于“2024年上半年”推出;而Granite Rapids也将在“此后不久”与大家见面。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。