此外,芯片巨头还发布了关于E核数据中心芯片的更多消息。
英特尔日前在Hot Chips 2023大会上公布了下一代至强处理器即将迎来的更多架构变化,包括对内存子系统和IO连接的改进。
虽然x86巨头的第五代至强Scalable处理器还有几个月时间才会正式上市,但英特尔已经在展望接下来的Sierra Forest和Granite Rapids等至强新成员,而且似乎很有信心在内存和IO方面力压多年来的竞争对手AMD。
英特尔的现款至强Scalabe处理器(代号为Sapphire Rapids)最高可支持8条DDR5 DRAM通道、速度为4800 MT/秒,以及80条PCIe 5.0/CXL 1.1连接通道。相比之下,AMD Epyc 4平台则分别提供12条DDR5通道和128条PCIe通道。
英特尔的下一代至强(可能是第六代)也将转向12条DDR5/MCR DRAM DIMM通道配置,并提供136条PCIe 5.0/CXL 2.0接口通道。此外,英特尔还提到至强处理器系列将支持每通道双DIMM(2DPC)配置。去年11月,AMD曾在将Epyc 4推向12条内在通道时遭遇到一些问题。
多路复用器组合列(MCR)DIMM的亮点,在于承诺带来远超传统DDR5 DRAM的内存带宽。英特尔曾在今年3月的演示中公布了预生产的Granite Rapids至强,它能以8800 MT/秒的速度接入MCR模块。这样的成绩几乎达到现有服务器平台上现代DDR5速度(4400至4800 MT/秒)的2倍。
英特尔研究员Ronak Singhal在Hot Chips会前的简报中表示,“从Sapphire Rapids到这一代新平台,我们的内存带宽将提高近3倍。”
据了解,英特尔Sierra Forest至强当中使用的E核心将采用针对效率和吞吐量进行优化的精简核心架构。
虽然目前关于Sierra Forest的详细信息仍然有限,但已经知晓的情况是该处理器将拥有最多144个核心,且提供单插槽与双插槽配置。
我们还了解到,英特尔将提供该芯片的缓存优化版本,每4 MB的L2池对应2个或4个核心。Singhal解释道,“有些客户希望核心数量少点、但每核性能更强一些。在这种情况下,那就是由2个核心共享这4 MB L2。”
在另一方面,对于需要运行大量浮点运算(包括AI和机器学习)的朋友,Sierra Forest将支持BF16和FP16加速。据我们了解,这源自本代至强包含的AVX10支持能力。
在性能方面,英特尔也对其E核心做出了相当大胆的承诺。在机架层面,英特尔称Sierra Forest与Sapphire Rapids相比,所提供的线程数量约为2.5倍、每瓦性能可提高240%。
Singhal表示,“而且在最新的至强处理器上,不仅仅是线程密度提高了,每线程性能也几乎完全不受影响。”
英特尔表示,与Sapphire Rapids相比,配备P核的Granite Rapids至强将提供更多计算核心与更强的AMX性能。
至于倾力打造的P核Granite Rapids芯片,英特尔承诺其较Sapphire Rapids拥有更高的核心数量,同时改进了AMX引擎并扩展了对AI/机器学习工作负载中的FP16计算支持。但英特尔并未透露最终产品具体会包含多少个核心。
英特尔本次公布的其他细节,还包括更大的内存加密密钥、经过改进的预取和分支预测,以及更快的浮点乘法运算速度等。
根据英特尔透露的消息,Sierra Forest计划于“2024年上半年”推出;而Granite Rapids也将在“此后不久”与大家见面。
好文章,需要你的鼓励
香港中文大学与华为诺亚方舟实验室合作开发了PreMoe框架,解决了大型混合专家模型(MoE)在内存受限设备上的部署难题。研究团队发现MoE模型中的专家表现出明显的任务专业化特征,据此提出了概率专家精简(PEP)和任务自适应专家检索(TAER)两大核心技术。实验证明,DeepSeek-R1 671B模型在精简50%专家后仍保持97.2%的MATH500准确率,内存需求降至688GB;而更激进的精简方案(减少87.5%专家)也能保持72.0%的准确率。该方法适用于多种MoE架构,为强大AI系统的广泛部署铺平了道路。
SCIENCEBOARD是一项开创性研究,旨在评估多模态自主智能体在真实科学工作流中的表现。研究团队构建了一个包含169个高质量任务的基准测试,涵盖生物化学、天文学等六个科学领域,并开发了一个真实环境让智能体通过CLI或GUI接口与科学软件交互。实验评估表明,即使是最先进的模型在这些复杂科学任务上的成功率也仅为15%,远低于人类表现,揭示了当前技术的局限性并为未来科学智能体的发展提供了宝贵见解。
帝国理工学院的研究团队开发了AlphaMed,这是首个仅通过极简规则强化学习就能培养医疗推理能力的AI模型,无需依赖传统的思维链示范数据。通过分析数据信息丰富度和难度分布的影响,研究发现高信息量的医疗问答数据是推理能力的关键驱动因素。AlphaMed在六个医疗问答基准上取得了领先成绩,甚至超越了更大的封闭源模型,同时展现出自发的步骤推理能力,为医疗AI发展提供了更加开放、高效的新路径。
Alita是一种新型通用AI代理系统,采用极简设计理念,以"最小预定义,最大自我进化"为原则构建。由普林斯顿大学等多家机构研究团队开发的Alita,只配备一个核心能力和少量通用模块,能自主创建所需工具并重用为模型上下文协议(MCPs)。实验显示,Alita在GAIA基准测试上达到87.27%的通过率,超越包括OpenAI Deep Research在内的复杂系统,证明简约设计可带来卓越性能。