2020年3月19日——今天,英特尔宣布其最强大的最新神经拟态研究系统Pohoiki Springs已准备就绪,将提供1亿个神经元的计算能力。英特尔将向英特尔神经拟态研究社区(INRC)的成员提供这一基于云的系统,以扩展其神经拟态工作来解决更大规模且更复杂的问题。
英特尔神经拟态计算实验室主任Mike Davies介绍称:“Pohoiki Springs将我们的Loihi神经拟态研究芯片扩展了750倍以上,同时以低于500瓦的功率运行。当前,一些工作负载在传统架构(包括高性能计算HPC系统)上运行缓慢。而Pohoiki Springs系统则让我们的研究合作伙伴能够探索加速处理这些工作负载的方法。”
Pohoiki Springs是一个数据中心机架式系统,是英特尔迄今为止开发的最大规模的神经拟态计算系统。它将768块Loihi神经拟态研究芯片集成在5台标准服务器大小的机箱中。
图注:数据中心机架式系统Pohoiki Springs(资料来源: Tim Herman/英特尔公司)
Loihi处理器的设计思路来源于人脑。与大脑一样,Loihi能用比传统处理器快1000倍的速度和高10000倍的效率处理特定要求的工作负载。Pohoiki Springs是扩展Loihi架构的下一步,可用于评估其解决AI问题以及一系列计算难题的潜力。英特尔研究人员认为,与当今最先进的传统计算机相比,神经拟态系统拥有超级并行性和异步信号传输能力,可以在明显降低功耗的同时显著提升性能。
在自然界中,即使是一些最小的生物也能解决极为困难的计算问题。例如,尽管很多昆虫大脑的神经元数目远低于100万个,但它们却能实时视觉跟踪物体、导航和躲避障碍物。同样,英特尔最小的神经拟态系统Kapoho Bay由两个具有262000个神经元的Loihi芯片组成,支持各种实时边缘工作负载。英特尔和INRC研究人员展示了Loihi的各种能力,包括实时识别手势、使用新型人造皮肤阅读盲文、使用习得的视觉地标确定方向,以及学习新的气味模式。所有这些功能都只需要消耗数十毫瓦的电能。到目前为止,这些小规模示例显示出极好的可扩展性,当运行更大规模的问题时,Loihi比传统解决方案更加快速高效。这模仿了自然界中从昆虫大脑到人类大脑的可扩展性。
Pohoiki Springs拥有1亿个神经元,它将Loihi的神经容量增加到一个小型哺乳动物大脑的大小,这是在向支持更大、更复杂的神经拟态工作负载的道路上迈出的重要一步。该系统为需要实时、动态的数据处理新方法的自主、互联的未来奠定了基础。
英特尔的Pohoiki Springs等神经拟态系统仍处于研究阶段,其设计目的并非取代传统的计算系统,而是为研究人员提供一个工具来开发和表征新的神经启发算法,用于实时处理、问题解决、适应和学习。INRC成员将使用英特尔Nx SDK和社区贡献的软件组件,通过云访问在Pohoiki Springs上构建应用程序。
目前正为Loihi开发的前景极佳且高度可扩展算法示例包括:
关于神经拟态计算:传统的CPU和GPU等通用处理器特别擅长人类难以完成的任务,如高精度的数学计算。但随着技术的作用和应用范围都在不断扩大,从自动化到人工智能,以及其他更多领域,越来越要求计算机的操作模式趋向于人类,以便实时处理非结构化和有噪声的数据,并不断地适应变化。为应对这一挑战,新的专用架构应运而生。
神经拟态计算是对计算机架构自下而上的彻底颠覆。其目标是应用神经科学的最新见解,来创造作用方式更类似于人脑的芯片而非传统计算机的芯片。神经拟态系统在硬件层面上复制了神经元组织、通信和学习方式。英特尔认为Loihi和未来的神经拟态处理器将定义一种新的可编程计算模式,可满足世界对普及型智能设备日益增长的需求。
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。