芯片巨头表明心志:到2024年继续推进ASIC/FPGA多架构发展路线
在本周召开的Intel Vision大会上,英特尔再次强调了其双管齐下的ASIC/FPGA基础设施处理单元(IPU)发展战略。此次会上,英特尔还展示了即将推出的400 Gb/秒与800 Gb/秒设备。
根据英特尔以太网事业部总经理Patty Kummrow的解释,该公司一直在关注从超大规模数据中心到边缘计算的各个领域,并感受到了市场对于特定领域处理器(例如IPU)的强劲需求。
她在新闻发布会上表示,“IPU已经从根本上改变了数据中心的架构形式。”
英特尔的IPU(也被称为smartNIC,或者数据处理单元DPU)主要负责承担并加速与网络、存储和安全类应用相关的输入/输出密集型工作负载。
Kummrow解释道,“IPU为我们带来了一系列以往难以想象的优势,其中之一就是将基础设施与租户工作负载剥离开来。当我们把这些基础设施功能拆分出去,并把腾出的CPU核心用于处理租户工作负载时,也就实现了负载加速效果。而IPU就是为承接这些功能所专门构建的硬件方案。”
有趣的是,英特尔在最新的产品发展路线图中只提到了更高吞吐量,此外对于下一代IPU的细节几乎没有任何提及。但芯片巨头披露,他们至少会把目前多架构ASIC/FPGA的设计方针延续至2024年。
英特尔的400 Gbps Mount Morgan和Hot Springs Canyon IPU分别计划于2023年底和2024年初发布,同时计划在2025年和2026年推出两款IPU的800 Gbps版本。
英特尔还为即将推出的Mount Evans和Oak Springs Canyon IPU公布了出货日期——“今年晚些时候”。好吧,属于公布了、但又没完全公布。考虑到新款Sapphire Rapids至强处理器和7纳米制程双双落后于计划,芯片巨头在守时方面好像并不是那么靠谱,所以大家姑且一听。
去年的英特尔架构日活动中,Mount Evans首次亮相,也成为芯片巨头第一款基于ASIC的IPU。这款200 Gb/秒 smartNIC专为以性能为最高诉求的超大规模数据中心环境所设计。根据我们掌握的消息,该芯片已经被纳入谷歌和“其他服务供应商”的部署计划。
与此同时,基于Agilex FPGA的Oak Springs Canyon则保持着与ASIC兄弟产品相同的吞吐量,只是受众主要是电信服务商。
根据Kummrow的介绍,这种多面开发的方法能够在客户的性能与灵活性需求间提供最佳平衡点。
例如,在Oak Springs Canyon方面,“客户可以随意进行重新编程,从而在设备上运行不断变化的工作负载。”相比之下,基于ASIC的Mount Evans IPU就没那么灵活,但却能够提供更好的功率/性能比。
她还补充道,“使用ASIC SoC,性能与功率优化水平更高,这是因为所有功能都围绕硬件特性打造而成。”
尽管架构有所区别,但英特尔的AISC与FPGA版IPU采用的是同一种通用编程语言,即基础设施程序员开发套件(IPDK)。
Kummrow总结道,IPDK正是帮助开发人员释放底层硬件价值的关键所在。
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
SEALQA是维吉尼亚理工大学研究团队开发的新型基准测试,旨在评估搜索增强型语言模型在面对矛盾、嘈杂或无用搜索结果时的推理能力。它包含三种测试:SEAL-0(极具挑战性的核心问题集)、SEAL-HARD(更广泛的困难问题集)和LONGSEAL(测试长上下文多文档推理)。研究发现,即使是前沿模型在这些测试中表现也很差,增加测试时计算资源往往不能带来可靠的性能提升,高级推理模型对嘈杂搜索结果特别敏感,模型在识别大量干扰文档中的相关信息时仍然困难重重。
这篇论文提出了"计划与预算"框架,解决大型语言模型在推理任务中的效率问题。研究者发现模型存在"推理失调"现象——简单问题上过度思考,复杂问题上思考不足。他们开发了贝叶斯预算分配模型(BBAM)作为理论基础,将推理分解为子问题并根据不确定性分配计算资源。实验表明,该方法在不同任务上显著提高推理效率,令牌使用减少39%,E?指标提升187.5%,且能使小型模型达到大型模型的效率水平。