自从生成式 AI 进入主流意识已经过去了几年,每个行业都在尝试利用它来提高效率并提供新的产品和服务。虽然训练模型将继续推动创新,但推理能力将通过高级 AI 功能创造价值,如思维链推理、多模态功能,以及将不同类型的生成式 AI 模型与预测型 AI 相结合的多模型支持。关于如何部署这些推理解决方案的讨论大多集中在 AI 数据中心、边缘基础设施和/或设备本地处理上。这就引出了一个问题:大型机在 AI 时代是否还有一席之地?
什么是大型机?
与服务器主要用于支持通用应用程序和多个客户端或网站托管、电子邮件服务器等功能不同,大型机专为高容量、任务关键型工作而设计,如金融交易处理,常用于严格监管的行业。因此,大型机需要更高程度的容量、可靠性和安全性,这些都通过先进的虚拟化、灾难恢复、向后兼容性和内置冗余来实现。此外,工作负载通常由集中式大型机系统处理,而服务器架构则通常采用分布式架构来将工作负载分散到多个系统中。
考虑到大型机提供的容量、可靠性和安全性,以及它们在支持高容量、高价值交易和数据处理方面的普遍性,对于大型机是否在 AI 时代有一席之地这个问题,答案是明确的"是!"IBM 作为大型机解决方案的领导者,全球 70% 的金融交易都通过其大型机处理,就是一个很好的例证。
AI 时代的大型机
IBM 最近发布了其 Z 系列大型机中的最新产品 Z17,旨在满足 AI 时代的需求,同时仍然满足与大型机相关的严格期望。据 IBM 介绍,这款 Z17 采用了 5nm 5.5GHz Telum II CPU,与上一代相比,单线程性能提升了 11%,容量扩展最高可达 20%,内存最高可达 64 TB,同时功耗降低了最多 27%。此外,Telum II 还具有增强的板载 AI 加速器,可处理预测性和部分生成式 AI 工作负载。对于需要更多加速能力的生成式 AI 工作负载,Z17 还可以升级配备新的 Spyre Accelerator PCIe 卡。
根据 IBM 报告的性能数据,Z17 比 Z16 提供了 7.5 倍的 AI 吞吐量,每天可以处理高达 4500 亿次 AI 推理,响应时间为 1 毫秒。
什么样的 AI 工作负载需要大型机?
由于在金融交易和关键任务数据处理中的广泛应用,大型机在使用预测性和生成式 AI 模型组合时最为有效。例如,由于具有高容量、中央处理和多模型能力,大型机可以有效且高效地分析通过系统的交易和数据模式,并推断出可用于高级欺诈检测和反洗钱应用的结论,从而提高准确性和减少误报。大型机还将这些功能与关键业务数据相结合,帮助实现业务、代码和运营助手,提高生产力并减少技能培训所需时间,以及自动交易和医疗保健应用等自主代理 AI 应用。AI 支持的大型机还被用于其他领域,包括但不限于贷款风险缓解、保险理赔欺诈检测和预防、支付欺诈、地理空间分析、气候变化影响、网络安全和情感分析。
这些只是预测性、生成式甚至代理式 AI 利用大型机实现商业成果的一小部分应用,这些成果在标准服务器配置上可能效率低下或无法实现,特别是在部署大型机的严格监管行业中。
AI 时代大型机的未来
据 IBM 称,Z 大型机平台上已经有超过 250 个客户确认的 AI 用例,并且还在增长。但这不仅仅关乎硬件。IBM 利用其他 AI 资产,如 watsonx、Granite、InstructLab,甚至其咨询服务,跨越 IBM 的解决方案,包括 Z 平台,将公司定位为企业 AI 时代的强大合作伙伴。Dell、Fujitsu 和 Unisys 等竞争对手也在寻求利用 AI 进行大型机工作负载。下一代大型机开发通常需要 5-7 年,如果它们和 IBM 类似,可以说支持 AI 的下几代大型机已经在开发中。大型机不仅在 AI 时代生存下来,而且正在蓬勃发展。
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。