作者:Arm 物联网事业部行业市场营销高级总监 Parag Beerkaka
随着人工智能 (AI) 不断对我们的日常生活产生越来越大的影响,其推理任务也逐渐从云端迁移到边缘侧和端侧。边缘侧推理为板载设备引入智能化能力,使数据能够在本地进行处理,并实时做出决策,同时提高了数据隐私性和安全性。
Arm Ethos NPU
Arm 多年来不断开发边缘 AI 加速器,以满足边缘侧和端侧不断增长的推理工作负载需求。此前两款成功的 NPU 产品——Arm® Ethos™-U55 和 Ethos-U65,为边缘侧和端侧 AI 应用带来了高性能、高能效的解决方案。
Ethos-U55 通常部署在基于 Cortex®-M 的异构系统中。而 Ethos-U65 则将 Ethos-U 系列的适用性扩展到基于 Cortex-A 的系统中,并为设备上的机器学习 (ML) 能力带来了两倍的性能提升。这两款产品均提供统一的工具链,可简化开发并支持常见的 ML 神经网络运算,包括卷积神经网络 (CNN) 和循环神经网络 (RNN)。
Transformer 架构的影响
于 2017 年问世的Transformer 架构彻底改变了生成式 AI,并成为许多新型神经网络的首选架构。基于 Transformer 架构的模型可利用注意力机制处理序列数据,并在机器翻译、自然语言理解、语音识别、分割和图像字幕生成等多项 AI 任务中实现优异的效果。
这些模型可被调整和压缩,在不过多影响准确度的情况下,能高效运行于边缘设备上,并在许多边缘侧和端侧用例中发挥领先的优势。
全新 Ethos-U85 NPU
依托 Ethos-U 系列 NPU 过往的成功经验,Arm 推出了全新产品—— Ethos-U85。该处理器秉承此前 Ethos-U NPU 一贯的高性能、高能效设计理念,并可同时为边缘侧和端侧设备上采用 Transformer 架构的现有和未来的工作负载提供支持。
Ethos-U85 是 Arm Ethos-U 产品线中的第三代 NPU,也是迄今为止性能和能效最强的 Ethos NPU。与上一代产品相比,该 NPU 的性能提升了四倍,能效提高了 20%,并且可在主流网络上实现高达 85% 的利用率。全新 Ethos-U85 可满足诸如工厂自动化和商用或智能家居摄像头等物联网应用不断攀升的性能需求。此外,其专为搭配基于 Cortex-M 或 Cortex-A的系统一同运行而设计,并容忍高 DRAM 延迟。
Ethos-U85 的主要特性包括:
除了 Ethos-U55 和 Ethos-U65 目前支持的算子,通过支持 TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR 和 ARGMAX 等运算,Ethos-U85 涵盖了对 Transformer 模型和 DeeplabV3 语义分割网络的原生硬件支持。
Ethos-U85 也支持元素级算子链化。通过链化将元素级运算与先前的运算相结合,使 SRAM 不必先写入再读取中间张量。由此可凭借 NPU 和内存之间数据传输量的减少,提高 NPU 的效率。相比于 Ethos-U65,链化是 Ethos-U85 在效率提升上的新功能之一,其余还包括快速的权重编码器、优化的 MAC 阵列能效,以及提升的元素效率。
Ethos-U85 可用于与 Ethos-U55 和 Ethos-U65 相同的系统配置流程,并且我们支持从基于 Cortex-A 的系统直接驱动 Ethos-U85 的功能。
Ethos-U85 支持与上一代Ethos-U系列产品相同的软件工具链, 即使用TFLmicro运行时。此外,在这个基础上,Ethos-U85 同时还能为更广泛采用 Transformer 架构的用例提供支持,这对于已经投入在基于 Cortex-A/Cortex-M 与 Ethos-U55/Ethos-U65 的系统厂商来说,将能扩大其过往的投资价值。未来,我们预计将支持面向边缘设备的 PyTorch 运行时 ExecuTorch。
Ethos-U85 支持的算子将在 NPU 上进行加速,对于特殊算子不支持的情况,其中部分算子将调用CMSIS-NN库实现在Cortex-M系统上进行加速。例如,在 tinyLlama 的用例中,该模型算子可完全映射到 Ethos-U85,没有算子回退到 CPU。
Ethos-U85 担任了 Arm 全新物联网参考设计平台 Corstone-320 的核心角色,该参考设计平台加快了各类 AIoT 解决方案中高性能 SoC 的开发和部署。
释放边缘AI 的无限潜力
Ethos-U85 将提供在边缘侧和端侧设备上执行领先 AI 功能所需的算力。随着 AI 时代的不断发展,我们的合作伙伴将获得基于 Arm Ethos-U 的可靠、高效兼具高性能的解决方案。我们预计在新兴的边缘 AI 用例、智能家居、零售或工业场景中看到Ethos-U85 被广泛部署,这些用例和场景需要更高的计算性能,并支持新型的 AI 框架。
Arm 引以为傲的是,我们不断通过前沿的软硬件解决方案,为合作伙伴与生态系统提供强而有力的支持。全新 Ethos-U85 的推出将释放边缘侧和端侧 AI 推理用例的无限潜能,从而改变世界。Arm 正在引领边缘 AI 的创新提升至全新水平,并持续夯实 Arm 成为未来边缘 AI 的基石。
好文章,需要你的鼓励
Hugging Face推出开源工具Yourbench,允许企业创建自定义基准来评估AI模型在其内部数据上的表现。这一工具通过复制大规模多任务语言理解基准的子集,以极低成本实现了对模型性能的精确评估。Yourbench的出现为企业提供了更贴合实际需求的AI模型评估方法,有望改善模型评估的方式。
Cognition AI 推出 Devin 2.0,这是其 AI 驱动的软件开发平台的更新版本。新版本引入了多项功能,旨在提升开发者与自主代理之间的协作效率。最引人注目的是,Devin 2.0 的起价从每月 500 美元大幅下调至 20 美元,使其更易于普及。新功能包括并行 Devin、交互式规划、代码库搜索等,有望提升开发效率并增强用户控制。
安迪·卡拉布蒂斯是一位杰出的CIO,她的职业生涯横跨多个行业和地区,经历了多次变革时刻。她在福特和通用汽车锻炼了领导力和技术专长,后来在戴尔、拜奥根和国家电网等公司担任高管,推动战略创新。本文总结了她对IT领导者核心技能的见解,包括战略沟通、情商、协作、远见卓识、变革管理和敏捷性等,对当今IT领导者具有重要参考价值。
边缘 AI 计算将使人形机器人、智能设备和自动驾驶等应用从数据中心和云端服务器解放出来,转移到制造车间、手术室和城市中心等场景。它能实现低延迟和自主决策,使 AI 无处不在,推动工业设施全面自动化,彻底改变商业和生活方式。边缘 AI 正在快速发展,各大科技公司纷纷推出相关硬件和软件平台,未来将为各行各业带来巨大变革。