欧盟前沿性NimbleAI项目采用定制RISC-V处理器来支持神经形态视觉与3D集成芯片

作者：Codasip

随着越来越多的研究伙伴加入以及新技术和新产品的不断披露，欧盟于2022年底启动的NimbleAI这一前沿项目在喧嚣的GPT热潮中，开始展现出一条新的智能化和数字化转型之道。NimbleAI旨在推动神经形态视觉（neuromorphic vision）传感和处理技术的发展和研究。作为一种创新的视觉感知和处理技术，神经形态视觉参考了生物系统工作方式，通过检测动态场景中的变化来决定是否更细致地查看捕捉到的内容，而不是花费大量资源区连续分析整个场景，从而节省大量资源和大幅度缩短延迟。

尽管NimbleAI是一个启动不久的新项目，它已经在带动许多新的计算和控制技术的研究和开发。例如，全球领先的定制处理器IP和开发工具提供商Codasip也一直关注和参与该领域的进展；作为Codasip的创新孵化器，该公司旗下的Codasip Labs不断探索将未来新技术快速推进到应用，因而于近期加入NimbleAI项目，为其开发一个RISC-V可定制内核，赋能神经形态传感3D集成芯片。

欧盟的NimbleAI项目是一个为期3年、耗资1000万欧元的研究项目，汇集了来自欧盟和英国的商业组织和学术界的合作伙伴共同参与研发。该项目由欧盟资助，旨在设计一种神经形态视觉传感和处理的3D集成芯片。在动辄需要上万张高性能GPU卡和巨量存储的GPT人工智能时代，这一灵感来自于眼睛对光线的探测和大脑对视觉信息处理的新机器视觉和智能技术，以其对资源和算力的节省再加更低的延迟而广受关注，因而NimbleAI项目也吸引了众多的目光。

欧盟NimbleAI项目的部分成员（图片来源：NimbleAI）

显而易见，这是一个受生物学启发的前沿技术，目标是提高下一代基于事件的视觉传感的神经形态芯片的能源效率和性能。如果一切按计划进行，那么会创建一种完整的神经形态架构，赋能终端设备有效准确地运行和多样化的计算机视觉算法。目前这些应用设备通常在资源和面积上受到限制，典型的应用领域包括手持和电池供电的医疗成像设备、自动驾驶车辆智能显示器、可穿戴的眼球追踪眼镜等等。

将生物系统作为电子系统的“黄金基准”是近年来的一个技术趋势。受到生物学的启发，NimbleAI正在利用生物眼脑系统作为其系统架构。该项目正在实施一个始终在线的传感模式，高度专业化的事件驱动处理内核和神经网络，以使用最少的能量对选定的刺激进行视觉推理。通过基于事件来决定应该发送和分析什么信息，计算系统就可以选择捕捉和分析有意义的特征信息，而不需要捕捉和分析所有信息。这种基于事件的方法可以大幅度降低资源需求，节省大量能耗，并减少延迟。

作为定制处理器专家，Codasip在该项目中积极探索RISC-V ISA在内存加速器中的扩展，这些加速器由合作伙伴CEA提供。定制的RISC-V处理有助于提高神经形态芯片的性能并降低其功耗。为了实现这一目标，项目选用了Codasip Studio工具和CodAL架构描述语言，这些工具促使定制工作流程变得直接便捷。之后由Codasip开发的RISC-V内核会被映射到Menta SAS的嵌入式FPGA（eFPGA）模块上。

改变游戏规则的定制处理器技术

目前在NimbleAI项目中，Codasip团队正在开发基于RISC-V的下一代人工智能处理器。同时这也是Codasip Labs的系列项目中的一个完美案例。Codasip Labs专注于关键应用领域，包括安全、功能安全和人工智能/机器学习（AI/ML）等等。以发现和打造创新技术来扩展定制计算的无限可能性为宗旨。在NimbleAI项目之前，Codasip的可定制RISC-V处理器IP和Codasip Studio定制开发工具已经得到了实际应用的广泛验证并获得了多项业界大奖的褒嘉，搭载其IP的处理器的出货量已超过20亿颗。

NimbleAI项目正在证明一个新的趋势：通过定制的、领域专用的处理器设计，可以加快直接针对智能化应用的定制化/差异化处理器产品的上市时间，并能够以高性能和低功耗等特性来最终赢得市场青睐。在为期3年的NimbleAI项目结束时，与目前基于帧的CPU或GPU处理视频标准相比，我们期望看到重大的性能提升。该项目将实现新的功能和实际实现，以解锁更先进的人工智能和计算机视觉算法和应用。