近日,Meta重磅推出其80亿和700亿参数的Meta Llama 3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸,并采用全新标记器(Tokenizer),旨在提升编码语言效率并提高模型性能。
在模型发布的第一时间,英特尔即验证了Llama 3能够在包括英特尔®至强®处理器在内的丰富AI产品组合上运行,并披露了即将发布的英特尔至强6性能核处理器(代号为Granite Rapids)针对Meta Llama 3模型的推理性能。
英特尔至强处理器可以满足要求严苛的端到端AI工作负载的需求。以第五代至强处理器为例,每个核心均内置了AMX加速引擎,能够提供出色的AI推理和训练性能。截至目前,该处理器已被众多主流云服务商所采用。不仅如此,至强处理器在进行通用计算时,能够提供更低时延,并能同时处理多种工作负载。
事实上,英特尔一直在持续优化至强平台的大模型推理性能。例如,相较于Llama 2模型的软件,PyTorch及英特尔® PyTorch扩展包(Intel® Extension for PyTorch)的延迟降低了5倍。这一优化是通过Paged Attention算法和张量并行实现的,这是因为其能够最大化可用算力及内存带宽。下图展示了80亿参数的Meta Lama 3模型在AWS m7i.metal-48x实例上的推理性能,该实例基于第四代英特尔至强可扩展处理器。
图1:AWS实例上Llama 3的下一个Token延迟
不仅如此,英特尔还首次披露了即将发布的产品——英特尔®至强® 6性能核处理器(代号为Granite Rapids)针对Meta Llama 3的性能测试。结果显示,与第四代至强处理器相比,英特尔至强6处理器在80亿参数的Llama 3推理模型的延迟降低了2倍,并且能够以低于100毫秒的token延迟,在单个双路服务器上运行诸如700亿参数的Llama 3这种更大参数的推理模型。
图2:基于英特尔®至强® 6性能核处理器(代号Granite Rapids)的Llama 3下一个Token延迟
考虑到Llama 3具备更高效的编码语言标记器(Tokenizer),测试采用了随机选择的prompt对Llama 3和Llama 2进行快速比较。在prompt相同的情况下,Llama 3所标记的token数量相较Llama 2减少18%。因此,即使80亿参数的Llama 3模型比70亿参数的Llama 2模型参数更高,在AWS m7i.metal-48xl实例上运行BF16推理时,整体prompt的推理时延几乎相同(该评估中,Llama 3比Llama 2快1.04倍)。
开发者可在此查阅在英特尔至强平台上运行Llama 3的说明。
英特尔至强处理器:
在英特尔®至强® 6处理器(此前代号Granite Rapids)上进行测试,使用2个英特尔®至强® Platinum,120核,超线程开启,睿频开启,NUMA 6,集成加速器可用[已使用]:DLB[8],DSA[8],IAA[8],QAT[8],总内存1536GB(24x64GB DDR5 8800 MT/s[8800 MT/s]),BIOS BHSDCRB1.IPC.0031.D44.2403292312,微码0x810001d0,1x以太网控制器I210千兆网络连接1x SSK存储953.9G,Red Hat Enterprise Linux 9.2(Plow),6.2.0-gn r.bkc.6.2.4.15.28.x86_64,基于英特尔2024年4月17日的测试。
在第四代英特尔®至强®可扩展处理器(此前代号Sapphire Rapids)上进行测试,使用AWS m7i.metal-48xl实例,2个英特尔®至强® Platinum 8488C,48核,超线程开启,睿频开启,NUMA 2,集成加速器可用[已使用]:DLB[8],DSA[8],IAA[8],QAT[8],总内存768GB(16x32GB DDR5 4800 MT/s[4400 MT/s]);(16x16GB DDR5 4800 MT/s[4400 MT/s]),BIOS亚马逊EC2,微码0x2b0000590,1x以太网控制器弹性网络适配器(ENA)亚马逊弹性块存储(EBS)256G,Ubuntu 22.04.4 LTS,6.5.0-1016-ws,基于英特尔2024年4月17日的测试。
好文章,需要你的鼓励
Queen's大学研究团队提出结构化智能体软件工程框架SASE,重新定义人机协作模式。该框架将程序员角色从代码编写者转变为AI团队指挥者,建立双向咨询机制和标准化文档系统,解决AI编程中的质量控制难题,为软件工程向智能化协作时代转型提供系统性解决方案。
苹果在iOS 26公开发布两周后推出首个修复更新iOS 26.0.1,建议所有用户安装。由于重大版本发布通常伴随漏洞,许多用户此前选择安装iOS 18.7。尽管iOS 26经过数月测试,但更大用户基数能发现更多问题。新版本与iPhone 17等新机型同期发布,测试范围此前受限。预计苹果将继续发布后续修复版本。
西北工业大学与中山大学合作开发了首个超声专用AI视觉语言模型EchoVLM,通过收集15家医院20万病例和147万超声图像,采用专家混合架构,实现了比通用AI模型准确率提升10分以上的突破。该系统能自动生成超声报告、进行诊断分析和回答专业问题,为医生提供智能辅助,推动医疗AI向专业化发展。