随着企业数字化转型进程的加速及新兴技术的大规模应用,业界对多元化、高质量和绿色算力的需求与日俱增。近期,英特尔发布的英特尔® 至强® 6性能核处理器,凭借创新的微架构、显著提升的核心数量、双倍内存带宽,以及对PCIe 5.0和CXL 2.0等最新技术的支持等领先特性,实现了整体性能的显著提升,能够应对边缘、数据中心、云环境的严苛挑战,是数据中心的理想选择。
在云计算领域,相比上一代处理器,至强6性能核处理器能够提供多达2倍的每路核心数,并实现平均单核性能提升1.2倍、每瓦性能提升1.6倍,且帮助云服务提供商(CSP)在同等性能水平下实现平均30% TCO的显著下降。在科学计算中,至强6性能核处理器则凭借MRDIMM实现更强存力,并通过英特尔® AVX-512输出更高算力,从而实现2.31倍NEMO geomean代际性能提升、2.43倍OpenFOAM geomean代际性能提升,以及2.5倍HPCG代际性能提升。
现阶段,以深度学习、机器学习等算法为代表的AI技术正步入高速发展时期,对计算资源的需求急剧增加。而得益于内置的AI加速功能——英特尔® 高级矩阵扩展 (AMX) 和专门面向AI优化的英特尔® AVX-512提高性能与效率,至强6性能核处理器凭借在运行AI工作负载上展现出的卓越性能,已成为数据中心和CSP的优选机头。
值得注意的是,在软件优化的加持下,至强6性能核处理器能够在运行多元化AI工作负载时展现出最佳性能。如在运行7亿参数的Llama2 INT4推理任务时,至强6性能核处理器提供了比AMD Turin 128核处理器更高的吞吐量。而在诸如文本摘要、聊天机器人和翻译这类生成式AI应用中,至强6性能核处理器分别展现出了约2.1倍、5.4倍及1.17倍的性能提升。
此外,在最新的MLPerf推理v4.1基准测试中,至强6性能核处理器与第五代至强处理器相比,实现了AI性能约1.9倍的几何平均值提升。特别是在自然语言处理任务BERT上,其相比第三代至强处理器性能提升高达17倍,而在计算机视觉任务ResNet50上,性能提升也高达15倍。而这主要得益于至强6性能核处理器的先进架构,包括对英特尔AMX的支持,以及优化的内存带宽等创新。
现阶段,以至强6900P系列处理器为代表的至强6性能核处理器已上市,并被诸多CSP广泛应用至实践中。面对AI时代对算力多元、高效的需求,英特尔通过持续加速创新,打造包括至强6处理器在内的领先硬件,以及开发者首选的软件工具、开发套件和优化库,从而助力生态伙伴以提升的性能拓展新商机,并实现关键业务成果。
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
SEALQA是维吉尼亚理工大学研究团队开发的新型基准测试,旨在评估搜索增强型语言模型在面对矛盾、嘈杂或无用搜索结果时的推理能力。它包含三种测试:SEAL-0(极具挑战性的核心问题集)、SEAL-HARD(更广泛的困难问题集)和LONGSEAL(测试长上下文多文档推理)。研究发现,即使是前沿模型在这些测试中表现也很差,增加测试时计算资源往往不能带来可靠的性能提升,高级推理模型对嘈杂搜索结果特别敏感,模型在识别大量干扰文档中的相关信息时仍然困难重重。
这篇论文提出了"计划与预算"框架,解决大型语言模型在推理任务中的效率问题。研究者发现模型存在"推理失调"现象——简单问题上过度思考,复杂问题上思考不足。他们开发了贝叶斯预算分配模型(BBAM)作为理论基础,将推理分解为子问题并根据不确定性分配计算资源。实验表明,该方法在不同任务上显著提高推理效率,令牌使用减少39%,E?指标提升187.5%,且能使小型模型达到大型模型的效率水平。