英特尔在开发仿人脑神经形态处理器的道路上取得了又一个重要的里程碑,这种处理器有望成为现有处理架构一个更节能的替代方案。
英特尔近日表示,已经在美国能源部国家核安全管理局运营的桑迪亚国家实验室那里部署了有史以来最大的神经拟态系统,该系统将用于支持未来的、受大脑启发的AI研究项目,解决与AI模型可持续性相关的挑战。
英特尔将这个新系统称为Hala Point,这是英特尔第一代神经拟态芯片系统Pohoiki Springs取得的一个重大进步,神经元容量增加了10倍,性能提高了12倍。
神经形态计算是一种全新的半导体设计方法,专注于构建功能更像人脑的计算机芯片,其基本思想是芯片内的神经元越多,功能就越强大。这种方法借鉴了神经科学的见解,将内存和计算与高度精细的并行性相结合,最大限度上减少数据的移动。
英特尔表示,通过采用异步处理、基于事件的尖峰神经网络、集成内存和计算、以及稀疏且不断变化的连接等受大脑启发的计算原理,可以实现能源效率和性能数量级的提高。神经元直接相互通信,而不是通过芯片的板载内存,从而显着降低了能耗。
对神经拟态计算的需求
英特尔实验室神经拟态计算实验室总监Mike Davies表示,神经拟态处理器的主要优势将体现在AI领域,因为AI领域的计算成本正在以不可持续的速度上升。斯坦福大学发布的“Stanford Institute for Human-Centered Artificial Intelligence AI Report”报告中,揭示了开发最先进的大型语言模型(例如OpenAI的GPT-4和Google的Gemini Pro)需要数百万美金的成本,并强调了对更高效计算资源的需求。
Davies表示,AI成本效率是神经形态计算最明显的用例之一,“我们需要数据中心附近的发电厂来创建这些模型,很难想象这种情况下如何能够再提高一个数量级”。
尽管这些研究仍处于前沿发展阶段,但英特尔希望自己的神经拟态芯片能够为与Nvidia公司的竞争铺平道路,目前Nvidia凭借自己的GPU在AI处理领域占据主导地位。
他补充说:“这是大自然赋予我们的一个不同的模型,但挑战在于它是如此不同,以至于它不是一个容易破解的难题。”
底层架构
英特尔表示,英特尔已经通过Hala Point构建了第一个大规模神经拟态芯片系统,可以在主流AI工作负载上展示“最先进”的计算效率。
Hala Point系统将1152个Loihi 2处理器封装在一个6机架单元数据中心机箱中,该机箱的大小与微波炉差不多。Hala Point系统支持分布在140544个神经形态处理核心上多达11.5亿个神经元和1280亿个突触,最大功耗为2600瓦,集成了2300个嵌入式x86处理器,用于处理辅助计算。
英特尔表示,Hala Point系统通过将处理、内存和通信集成到一个大规模并行结构中,可以提供高达每秒16 PB的内存带宽、每秒11 PB的核间通信带宽、以及每秒5.5 TB的芯片间通信带宽。凭借这种性能水平,该系统每秒可以处理超过380万亿次8位突触操作,每秒可以处理超过240万亿次神经元操作。
在处理传统深度神经网络方面,Hala Point系统每秒可支持高达30万亿次运算,即30 petaops,效率超过每秒每瓦15万亿次8位运算。英特尔表示,更简单地说,Hala Point 系统的神经元容量相当于猫头鹰的大脑或卷尾猴的皮质。
应用领域
英特尔表示,这样的性能水平超越了芯片制造商竞争对手所制造的最强大的GPU,为解决问题型科学和工程AI应用的实时持续学习等领域的重大突破铺平了道路,其他潜在的用例包括运行复杂的物流系统、智能城市基础设施管理和大型语言模型训练。
英特尔和桑迪亚国家实验室将使用Hala Point系统来解决优化那些可以通过搜索、规划和遵循地图中最短路径来解决的问题。Davies表示:“我们在这方面看到了最佳的结果。在该领域我们取得了最引人注目的成果,速度提高了50倍,能源节省了100倍。”
Constellation Research分析师Holger Mueller表示,英特尔的神经拟态计算架构似乎是Nvidia GPU一个真正的替代品,后者目前在AI处理领域占据主导地位,但成本过高。
他说:“不可避免的是,最终有人会想出替代方案来挑战GPU,因为AI带来的机会太大了,不容错过。竞争对企业有利,有助于促进创新,所以看看Nvidia要如何应对了。与此同时,很高兴看到长期陷入困境的英特尔走在了神经形态计算发展的最前沿。Loihi 2系统看起来非常有前景,但还没有接近商业化,所以我们还需要一段时间才能看到它是否能真正与Nvidia展开竞争。”
Davies表示,当量子计算机真正可用的时候,神经形态计算有可能带来与量子计算机预期类似的进步。他说:“不同之处在于量子距离更远。”因此神经形态计算机可能有利于解决药物发现和未来类似问题。
桑迪亚国家实验室最初将使用Hala Point系统进行先进的大脑规模计算研究,重点解决计算机体系结构、计算机科学、设备物理和信息学等领域的科学计算问题。
英特尔强调,Hala Point仍然是一个研究原型,旨在提升未来商业系统的能力,预计该系统将取得实际突破,可显着减轻现代AI工作负载的负担。
好文章,需要你的鼓励
这篇研究介绍了KVzip,一种创新的查询无关KV缓存压缩方法,通过上下文重建机制为大型语言模型提供高效存储解决方案。该技术能将KV缓存大小减少394倍,同时提高解码速度约2倍,在各种任务上性能几乎不受影响。不同于传统查询相关的压缩方法,KVzip创建可在多种查询场景下重用的通用压缩缓存,特别适合个性化AI助手和企业信息检索系统。研究在LLaMA3.1-8B、Qwen2.5-14B和Gemma3-12B等多种模型上进行了验证,处理长度高达17万词元的文本,并能与KV缓存量化等其他优化技术无缝集成。
腾讯与上海交通大学联合推出的DeepTheorem研究突破了大型语言模型在数学定理证明领域的限制。该项目创建了包含12.1万个IMO级别非形式化定理的大规模数据集,开发了专门的RL-Zero强化学习策略,并设计了全面的评估框架。研究表明,通过使用自然语言而非传统形式化系统,即使是7B参数的模型也能在复杂定理证明上取得显著成果,超越许多更大的专业模型。这一成果为AI数学推理开辟了新途径,使语言模型能够像人类数学家一样思考和证明。
MAGREF是字节跳动智能创作团队开发的多主体视频生成框架,能从多张参考图像和文本提示生成高质量视频。该技术引入了区域感知动态遮罩机制,使单一模型灵活处理人物、物体和背景,无需架构变化;并采用像素级通道拼接机制,在通道维度上运作以更好地保留外观特征。实验表明,MAGREF在身份一致性和视觉质量方面优于现有技术,能将单主体训练泛化到复杂多主体场景,为内容创作者提供了强大而便捷的视频生成工具。
这项研究揭示了大型语言模型(LLMs)偏好决策的内在机制。以色列理工学院和IBM研究院的团队开发了一种自动化方法,不需人工预设即可发现和解释影响AI判断的关键概念。研究横跨八个领域(从一般问答到安全评估),分析了12种偏好机制,发现人类评判者重视权威性和清晰度,而AI评判更关注事实准确性。他们提出的层次多领域回归模型不仅能准确预测偏好,还能清晰解释判断过程,为构建更透明、更符合人类价值观的AI系统提供了新途径。