自从生成式 AI 进入主流意识已经过去了几年,每个行业都在尝试利用它来提高效率并提供新的产品和服务。虽然训练模型将继续推动创新,但推理能力将通过高级 AI 功能创造价值,如思维链推理、多模态功能,以及将不同类型的生成式 AI 模型与预测型 AI 相结合的多模型支持。关于如何部署这些推理解决方案的讨论大多集中在 AI 数据中心、边缘基础设施和/或设备本地处理上。这就引出了一个问题:大型机在 AI 时代是否还有一席之地?
什么是大型机?
与服务器主要用于支持通用应用程序和多个客户端或网站托管、电子邮件服务器等功能不同,大型机专为高容量、任务关键型工作而设计,如金融交易处理,常用于严格监管的行业。因此,大型机需要更高程度的容量、可靠性和安全性,这些都通过先进的虚拟化、灾难恢复、向后兼容性和内置冗余来实现。此外,工作负载通常由集中式大型机系统处理,而服务器架构则通常采用分布式架构来将工作负载分散到多个系统中。
考虑到大型机提供的容量、可靠性和安全性,以及它们在支持高容量、高价值交易和数据处理方面的普遍性,对于大型机是否在 AI 时代有一席之地这个问题,答案是明确的"是!"IBM 作为大型机解决方案的领导者,全球 70% 的金融交易都通过其大型机处理,就是一个很好的例证。
AI 时代的大型机
IBM 最近发布了其 Z 系列大型机中的最新产品 Z17,旨在满足 AI 时代的需求,同时仍然满足与大型机相关的严格期望。据 IBM 介绍,这款 Z17 采用了 5nm 5.5GHz Telum II CPU,与上一代相比,单线程性能提升了 11%,容量扩展最高可达 20%,内存最高可达 64 TB,同时功耗降低了最多 27%。此外,Telum II 还具有增强的板载 AI 加速器,可处理预测性和部分生成式 AI 工作负载。对于需要更多加速能力的生成式 AI 工作负载,Z17 还可以升级配备新的 Spyre Accelerator PCIe 卡。
根据 IBM 报告的性能数据,Z17 比 Z16 提供了 7.5 倍的 AI 吞吐量,每天可以处理高达 4500 亿次 AI 推理,响应时间为 1 毫秒。
什么样的 AI 工作负载需要大型机?
由于在金融交易和关键任务数据处理中的广泛应用,大型机在使用预测性和生成式 AI 模型组合时最为有效。例如,由于具有高容量、中央处理和多模型能力,大型机可以有效且高效地分析通过系统的交易和数据模式,并推断出可用于高级欺诈检测和反洗钱应用的结论,从而提高准确性和减少误报。大型机还将这些功能与关键业务数据相结合,帮助实现业务、代码和运营助手,提高生产力并减少技能培训所需时间,以及自动交易和医疗保健应用等自主代理 AI 应用。AI 支持的大型机还被用于其他领域,包括但不限于贷款风险缓解、保险理赔欺诈检测和预防、支付欺诈、地理空间分析、气候变化影响、网络安全和情感分析。
这些只是预测性、生成式甚至代理式 AI 利用大型机实现商业成果的一小部分应用,这些成果在标准服务器配置上可能效率低下或无法实现,特别是在部署大型机的严格监管行业中。
AI 时代大型机的未来
据 IBM 称,Z 大型机平台上已经有超过 250 个客户确认的 AI 用例,并且还在增长。但这不仅仅关乎硬件。IBM 利用其他 AI 资产,如 watsonx、Granite、InstructLab,甚至其咨询服务,跨越 IBM 的解决方案,包括 Z 平台,将公司定位为企业 AI 时代的强大合作伙伴。Dell、Fujitsu 和 Unisys 等竞争对手也在寻求利用 AI 进行大型机工作负载。下一代大型机开发通常需要 5-7 年,如果它们和 IBM 类似,可以说支持 AI 的下几代大型机已经在开发中。大型机不仅在 AI 时代生存下来,而且正在蓬勃发展。
好文章,需要你的鼓励
Allen AI研究所联合多家顶尖机构推出SAGE智能视频分析系统,首次实现类人化的"任意时长推理"能力。该系统能根据问题复杂程度灵活调整分析策略,配备六种智能工具进行协同分析,在处理10分钟以上视频时准确率提升8.2%。研究团队创建了包含1744个真实娱乐视频问题的SAGE-Bench评估平台,并采用创新的AI生成训练数据方法,为视频AI技术的实际应用开辟了新路径。
联想推出新一代NVMe存储解决方案DE6600系列,包含全闪存DE6600F和混合存储DE6600H两款型号。该系列产品延迟低于100微秒,支持多种连接协议,2U机架可容纳24块NVMe驱动器。容量可从367TB扩展至1.798PiB全闪存或7.741PiB混合配置,适用于AI、高性能计算、实时分析等场景,并配备双活控制器和XClarity统一管理平台。
中科院团队首次系统评估了AI视觉模型在文本压缩环境下的理解能力,发现虽然AI能准确识别压缩图像中的文字,但在理解深层含义、建立关联推理方面表现不佳。研究通过VTCBench测试系统揭示了AI存在"位置偏差"等问题,为视觉文本压缩技术的改进指明方向。