作者:Arm 物联网事业部行业市场营销高级总监 Parag Beerkaka
随着人工智能 (AI) 不断对我们的日常生活产生越来越大的影响,其推理任务也逐渐从云端迁移到边缘侧和端侧。边缘侧推理为板载设备引入智能化能力,使数据能够在本地进行处理,并实时做出决策,同时提高了数据隐私性和安全性。
Arm Ethos NPU
Arm 多年来不断开发边缘 AI 加速器,以满足边缘侧和端侧不断增长的推理工作负载需求。此前两款成功的 NPU 产品——Arm® Ethos™-U55 和 Ethos-U65,为边缘侧和端侧 AI 应用带来了高性能、高能效的解决方案。
Ethos-U55 通常部署在基于 Cortex®-M 的异构系统中。而 Ethos-U65 则将 Ethos-U 系列的适用性扩展到基于 Cortex-A 的系统中,并为设备上的机器学习 (ML) 能力带来了两倍的性能提升。这两款产品均提供统一的工具链,可简化开发并支持常见的 ML 神经网络运算,包括卷积神经网络 (CNN) 和循环神经网络 (RNN)。
Transformer 架构的影响
于 2017 年问世的Transformer 架构彻底改变了生成式 AI,并成为许多新型神经网络的首选架构。基于 Transformer 架构的模型可利用注意力机制处理序列数据,并在机器翻译、自然语言理解、语音识别、分割和图像字幕生成等多项 AI 任务中实现优异的效果。
这些模型可被调整和压缩,在不过多影响准确度的情况下,能高效运行于边缘设备上,并在许多边缘侧和端侧用例中发挥领先的优势。
全新 Ethos-U85 NPU
依托 Ethos-U 系列 NPU 过往的成功经验,Arm 推出了全新产品—— Ethos-U85。该处理器秉承此前 Ethos-U NPU 一贯的高性能、高能效设计理念,并可同时为边缘侧和端侧设备上采用 Transformer 架构的现有和未来的工作负载提供支持。
Ethos-U85 是 Arm Ethos-U 产品线中的第三代 NPU,也是迄今为止性能和能效最强的 Ethos NPU。与上一代产品相比,该 NPU 的性能提升了四倍,能效提高了 20%,并且可在主流网络上实现高达 85% 的利用率。全新 Ethos-U85 可满足诸如工厂自动化和商用或智能家居摄像头等物联网应用不断攀升的性能需求。此外,其专为搭配基于 Cortex-M 或 Cortex-A的系统一同运行而设计,并容忍高 DRAM 延迟。
Ethos-U85 的主要特性包括:
除了 Ethos-U55 和 Ethos-U65 目前支持的算子,通过支持 TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR 和 ARGMAX 等运算,Ethos-U85 涵盖了对 Transformer 模型和 DeeplabV3 语义分割网络的原生硬件支持。
Ethos-U85 也支持元素级算子链化。通过链化将元素级运算与先前的运算相结合,使 SRAM 不必先写入再读取中间张量。由此可凭借 NPU 和内存之间数据传输量的减少,提高 NPU 的效率。相比于 Ethos-U65,链化是 Ethos-U85 在效率提升上的新功能之一,其余还包括快速的权重编码器、优化的 MAC 阵列能效,以及提升的元素效率。
Ethos-U85 可用于与 Ethos-U55 和 Ethos-U65 相同的系统配置流程,并且我们支持从基于 Cortex-A 的系统直接驱动 Ethos-U85 的功能。
Ethos-U85 支持与上一代Ethos-U系列产品相同的软件工具链, 即使用TFLmicro运行时。此外,在这个基础上,Ethos-U85 同时还能为更广泛采用 Transformer 架构的用例提供支持,这对于已经投入在基于 Cortex-A/Cortex-M 与 Ethos-U55/Ethos-U65 的系统厂商来说,将能扩大其过往的投资价值。未来,我们预计将支持面向边缘设备的 PyTorch 运行时 ExecuTorch。
Ethos-U85 支持的算子将在 NPU 上进行加速,对于特殊算子不支持的情况,其中部分算子将调用CMSIS-NN库实现在Cortex-M系统上进行加速。例如,在 tinyLlama 的用例中,该模型算子可完全映射到 Ethos-U85,没有算子回退到 CPU。
Ethos-U85 担任了 Arm 全新物联网参考设计平台 Corstone-320 的核心角色,该参考设计平台加快了各类 AIoT 解决方案中高性能 SoC 的开发和部署。
释放边缘AI 的无限潜力
Ethos-U85 将提供在边缘侧和端侧设备上执行领先 AI 功能所需的算力。随着 AI 时代的不断发展,我们的合作伙伴将获得基于 Arm Ethos-U 的可靠、高效兼具高性能的解决方案。我们预计在新兴的边缘 AI 用例、智能家居、零售或工业场景中看到Ethos-U85 被广泛部署,这些用例和场景需要更高的计算性能,并支持新型的 AI 框架。
Arm 引以为傲的是,我们不断通过前沿的软硬件解决方案,为合作伙伴与生态系统提供强而有力的支持。全新 Ethos-U85 的推出将释放边缘侧和端侧 AI 推理用例的无限潜能,从而改变世界。Arm 正在引领边缘 AI 的创新提升至全新水平,并持续夯实 Arm 成为未来边缘 AI 的基石。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。