短于内核,长于线程和矩阵数学
作者:Tobias Mann
更新时间:协调世界时2024 年 5 月 7 日(星期二)20:39
IBM不甘被排除在人工智能基础架构的游戏之外,于本周二推出了一对微小的Power 10服务器,瞄准网络边缘的数据处理。
Power S1012系统既有PC风格的塔式配置,也有更为传统的2U半宽机架式机箱。两款系统均可配备IBM自主研发的Power 10处理器,支持1核、4核或8核,板载内存最高可达256GB。
虽然与英特尔和AMD边缘-中心芯片(最多可配备64个内核)相比,这听起来并不算多,但值得注意的是,IBM的Power平台基于RISC架构,优先处理高线程工作负载,支持SMT4或SMT8。
这意味着这些系统中使用的Power 10 eSCM模块每个内核最多可支持8个线程,最高配置可支持64个线程。
IBM宣称其新服务器的性能是即将推出的Power S814的三倍,这听起来似乎令人印象深刻,不过想一想,该系统基于的Power 8平台已有10年历史。不过话说回来,Power 10系列也不是新丁,它也将在9月份迎来三周岁生日。
IBM设想将这些系统部署在多种场景中,包括在空间或功率受限的边缘部署中进行人工智能推理,或在远程或后台办公场景中运行更传统的工作负载。
其主要思路似乎是,就地处理从边缘流入的所有数据流,而不是将其全部送回中央数据中心,客户可以通过这种方式减少延迟并抑制带宽消耗。
从表面上看,IBM 瞄准的是现有的Power 客户,他们熟悉与 SMT 重型架构相关的特定硬件和软件细微差别。分析管理商Equitus就是这些客户中的一员,IBM称该公司已经在使用这些系统,在边缘运行人工智能模型。
至于IBM是如何处理这些人工智能工作负载的,可能与你想象的大相径庭。据我们所知,这些系统并没有配备IBM在公告中没有提到的GPU。相反,IBM 似乎依靠处理器的矩阵数学加速器(MMA)来完成繁重的工作,每个内核都内置了四个矩阵数学加速器。
在很多方面,这些 MMA都让人想起英特尔2023年起推出的第四代和第五代Xeon Scalable平台中的AMX引擎。正如我们最近探讨过的,这些引擎完全有能力运行规模在70亿到130亿参数之间的小型大语言模型。
除了MMA之外,IBM还强调了对透明内存加密的支持,以保护进出设备上人工智能模型的数据。考虑到这些系统很可能部署在安全性或监管有限的远程位置,这很可能是一个受欢迎的功能,尤其是对于那些受到高度监管的行业。
S1012系统将于6月14日开始发售。
另:IBM 刚刚向开源世界发布了一系列代码生成模型,该公司表示:“我们的目标是让代码生成对于尽可能多的开发人员变得尽可能的简单。”
好文章,需要你的鼓励
本文探讨如何使用生成式AI和大语言模型作为倾听者,帮助用户表达内心想法。许多主流AI如ChatGPT、Claude等被设计成用户的"最佳伙伴",或试图提供心理健康建议,但有时用户只想要一个尊重的倾听者。文章提供了有效的提示词技巧,指导AI保持中性、尊重的态度,专注于倾听和理解,而非给出建议或判断。同时提醒用户注意隐私保护和AI的局限性。
北京大学团队开发出WoW世界模型,这是首个真正理解物理规律的AI系统。通过200万机器人互动数据训练,WoW不仅能生成逼真视频,更能理解重力、碰撞等物理定律。其创新的SOPHIA框架让AI具备自我纠错能力,在物理理解测试中达到80.16%准确率。该技术将推动智能机器人、视频制作等领域发展,为通用人工智能奠定重要基础。
人工通用智能和超级人工智能的出现,可能会创造出一种全新的外星智能形态。传统AI基于人类智能模式构建,但AGI和ASI一旦存在,可能会选择创造完全不同于人类认知方式的新型智能。这种外星人工智能既可能带来突破性进展,如找到癌症治愈方法,也可能存在未知风险。目前尚不确定这种新智能形态是否会超越人类智能,以及我们是否应该追求这一可能改变人类命运的技术突破。
香港大学和蚂蚁集团联合推出PromptCoT 2.0,这是一种让AI自动生成高质量训练题目的创新方法。通过"概念-思路-题目"的三步策略,AI能像老师备课一样先构思解题思路再出题,大幅提升了题目质量和训练效果。实验显示该方法在数学竞赛和编程任务上都取得了显著提升,为解决AI训练数据稀缺问题提供了新思路。