作者:Arm 物联网事业部行业市场营销高级总监 Parag Beerkaka
随着人工智能 (AI) 不断对我们的日常生活产生越来越大的影响,其推理任务也逐渐从云端迁移到边缘侧和端侧。边缘侧推理为板载设备引入智能化能力,使数据能够在本地进行处理,并实时做出决策,同时提高了数据隐私性和安全性。
Arm Ethos NPU
Arm 多年来不断开发边缘 AI 加速器,以满足边缘侧和端侧不断增长的推理工作负载需求。此前两款成功的 NPU 产品——Arm® Ethos™-U55 和 Ethos-U65,为边缘侧和端侧 AI 应用带来了高性能、高能效的解决方案。
Ethos-U55 通常部署在基于 Cortex®-M 的异构系统中。而 Ethos-U65 则将 Ethos-U 系列的适用性扩展到基于 Cortex-A 的系统中,并为设备上的机器学习 (ML) 能力带来了两倍的性能提升。这两款产品均提供统一的工具链,可简化开发并支持常见的 ML 神经网络运算,包括卷积神经网络 (CNN) 和循环神经网络 (RNN)。
Transformer 架构的影响
于 2017 年问世的Transformer 架构彻底改变了生成式 AI,并成为许多新型神经网络的首选架构。基于 Transformer 架构的模型可利用注意力机制处理序列数据,并在机器翻译、自然语言理解、语音识别、分割和图像字幕生成等多项 AI 任务中实现优异的效果。
这些模型可被调整和压缩,在不过多影响准确度的情况下,能高效运行于边缘设备上,并在许多边缘侧和端侧用例中发挥领先的优势。
全新 Ethos-U85 NPU
依托 Ethos-U 系列 NPU 过往的成功经验,Arm 推出了全新产品—— Ethos-U85。该处理器秉承此前 Ethos-U NPU 一贯的高性能、高能效设计理念,并可同时为边缘侧和端侧设备上采用 Transformer 架构的现有和未来的工作负载提供支持。
Ethos-U85 是 Arm Ethos-U 产品线中的第三代 NPU,也是迄今为止性能和能效最强的 Ethos NPU。与上一代产品相比,该 NPU 的性能提升了四倍,能效提高了 20%,并且可在主流网络上实现高达 85% 的利用率。全新 Ethos-U85 可满足诸如工厂自动化和商用或智能家居摄像头等物联网应用不断攀升的性能需求。此外,其专为搭配基于 Cortex-M 或 Cortex-A的系统一同运行而设计,并容忍高 DRAM 延迟。
Ethos-U85 的主要特性包括:
除了 Ethos-U55 和 Ethos-U65 目前支持的算子,通过支持 TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR 和 ARGMAX 等运算,Ethos-U85 涵盖了对 Transformer 模型和 DeeplabV3 语义分割网络的原生硬件支持。
Ethos-U85 也支持元素级算子链化。通过链化将元素级运算与先前的运算相结合,使 SRAM 不必先写入再读取中间张量。由此可凭借 NPU 和内存之间数据传输量的减少,提高 NPU 的效率。相比于 Ethos-U65,链化是 Ethos-U85 在效率提升上的新功能之一,其余还包括快速的权重编码器、优化的 MAC 阵列能效,以及提升的元素效率。
Ethos-U85 可用于与 Ethos-U55 和 Ethos-U65 相同的系统配置流程,并且我们支持从基于 Cortex-A 的系统直接驱动 Ethos-U85 的功能。
Ethos-U85 支持与上一代Ethos-U系列产品相同的软件工具链, 即使用TFLmicro运行时。此外,在这个基础上,Ethos-U85 同时还能为更广泛采用 Transformer 架构的用例提供支持,这对于已经投入在基于 Cortex-A/Cortex-M 与 Ethos-U55/Ethos-U65 的系统厂商来说,将能扩大其过往的投资价值。未来,我们预计将支持面向边缘设备的 PyTorch 运行时 ExecuTorch。
Ethos-U85 支持的算子将在 NPU 上进行加速,对于特殊算子不支持的情况,其中部分算子将调用CMSIS-NN库实现在Cortex-M系统上进行加速。例如,在 tinyLlama 的用例中,该模型算子可完全映射到 Ethos-U85,没有算子回退到 CPU。
Ethos-U85 担任了 Arm 全新物联网参考设计平台 Corstone-320 的核心角色,该参考设计平台加快了各类 AIoT 解决方案中高性能 SoC 的开发和部署。
释放边缘AI 的无限潜力
Ethos-U85 将提供在边缘侧和端侧设备上执行领先 AI 功能所需的算力。随着 AI 时代的不断发展,我们的合作伙伴将获得基于 Arm Ethos-U 的可靠、高效兼具高性能的解决方案。我们预计在新兴的边缘 AI 用例、智能家居、零售或工业场景中看到Ethos-U85 被广泛部署,这些用例和场景需要更高的计算性能,并支持新型的 AI 框架。
Arm 引以为傲的是,我们不断通过前沿的软硬件解决方案,为合作伙伴与生态系统提供强而有力的支持。全新 Ethos-U85 的推出将释放边缘侧和端侧 AI 推理用例的无限潜能,从而改变世界。Arm 正在引领边缘 AI 的创新提升至全新水平,并持续夯实 Arm 成为未来边缘 AI 的基石。
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。