关于新芯片的详细信息是在本周斯坦福大学举行的“Hot Chips 2024 ”活动上公布的。该公司表示,其增强的处理能力将有助于使用一种被称为“集合人工智能”的新技术加速传统的人工智能模型和新兴的大型语言模型。
IBM Telum II 处理器(如图)的显著特点是采用了全新的数据处理单元(DPU),用于卸载某些计算任务,提高芯片的整体计算效率。据该公司表示,新的DPU旨在加速该公司大型机系统上用于联网和存储的复杂输入/输出协议。
除了这款新芯片,该公司还提供了全新IBM Spyre Accelerator的详细信息,该加速器旨在与 Telum 芯片配合使用,为人工智能工作负载提供额外的动力。
下一代大型机的主力
IBM承诺在今年晚些时候推出下一代大型机时,将大幅提升整体计算性能。新的Telum 芯片采用三星代工厂最先进的5纳米工艺制造,将成为新款IBM Z大型机的核心,提供更高的频率和内存容量,使其缓存和集成AI 加速器核心性能提高40%。
IBM表示,更深入地说,新芯片是2021年首次亮相的初代Telum 处理器的后继产品,具有八个高性能内核,运行频率为5.5千兆赫兹,每个内核具有36MB内存。这相当于片上缓存容量增加了40%,总容量达到360MB。
此外,Telum II芯片还配备了增强型集成人工智能加速器,可进行低延迟、高吞吐量的交易中人工智能推理操作,使其更适用于金融交易中的实时欺诈检测等应用。
同时,集成的I/O Acceleration Unit DPU将显著提高芯片的数据处理能力,IBM承诺将整体 I/O 密度提高50%。
加速人工智能
至于 Spyre Accelerator(如右图所示),这是一款专用的企业级加速器,专为希望使用大型机系统进行人工智能处理的客户而设计。IBM 表示,它旨在提升最复杂的人工智能模型(包括生成式人工智能应用)的性能。
为此,它内置了1 TB 的内存,这些内存分布在一个常规I/O抽屉中的8块卡上。它有32个计算内核,支持int4、int8、fp8 和 fp16 数据类型,能够为任何类型的人工智能应用减少延迟并提高吞吐量。
IBM 解释说,Telum II和Spyre的设计目的是协同工作,为人工智能建模的集合方法提供可扩展的架构。集合方法涉及将多个机器学习和深度学习人工智能模型与编码器LLM结合。通过利用每个模型架构的优势,集合模型可以提供比单独使用单一类型模型更准确的结果。
IBM负责IBM Z和LinuxONE产品管理的副总裁Tina Tarquinio表示,在努力满足人工智能不断升级的需求时,新芯片使公司能够保持“领先优势”。她承诺说:“Telum II 处理器和 Spyre 加速器旨在提供高性能、安全和更省电的企业计算解决方案。”
用例
该公司表示,Telum II 适用于一系列专门的人工智能应用,这些应用传统上由其Z大型机系统提供支持。例如,该公司表示,人工智能的集合方法尤其适用于加强保险欺诈检测。这些芯片还可以支持洗钱检测系统,为先进的算法提供动力,实时发现可疑的金融活动,降低金融犯罪风险。
此外,据说Telum II还是生成式人工智能助手的理想基础,可支持知识转移和代码解释等必要任务。
该公司表示,Telum II 芯片将在今年晚些时候推出的下一版IBM Z大型机和IBM LinuxONE系统中首次亮相。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。