人工智能 (AI) 正在以惊人的速度发展。企业不再仅仅是探索 AI,而是积极推动 AI 的规模化落地,从实验性应用转向实际部署。随着生成式模型日益精简和高效,AI 的重心正从云端转向边缘侧。如今,人们不再质疑边缘 AI 是否能实现规模化——它已然成为现实。
Arm 最新发布了《AI 效率热潮:更小的模型与加速的计算正驱动 AI 无处不在》报告,该报告深度解析了驱动这一转变的核心因素,以及其如何重塑半导体、AI 和终端设备生态系统。
更智能的模型正推动计算能力的爆发式增长
如果更小、更快的模型意味着更少的计算需求,为何超大规模云服务提供商仍在 AI 芯片上加大投入?答案就在于“杰文斯悖论”,意即更高的效率会带来更广泛的使用。该报告深入探讨了这一经济原理,并揭示了像 DeepSeek 这种超高效模型的突破,如何引发前所未有的基础设施投资热潮。
从 OpenAI 到 Meta,整个行业正全力扩大规模,从未有丝毫停歇,以跟上 AI 的爆发式增长,而这项增长已经渗透到从可穿戴设备到自动驾驶汽车的各个领域。
为何边缘设备正成为 AI 的新重心
AI 推理正越来越多地在设备端本地完成。原因显而易见:速度更快、隐私保护性更强、成本更低、能效更高。无论是离线翻译语言的智能手机,还是检测健康异常的智能手表,边缘设备正成为 AI 的强大引擎。
该报告指出,汽车、医疗、消费电子及制造等行业正积极拥抱这一变革,通过专用硬件(如基于 Arm Ethos-U NPU 的芯片)和高度优化的模型,将先进的 AI 功能直接带到设备端。
混合架构既是未来趋势,亦是当下主流
边缘 AI 的兴起并非预示着云端 AI 的消失,而是促使 AI 工作负载的分配更加智能化。未来的趋势是混合架构:云端专注于训练和协调任务,边缘端则承担实时推理职责。这需要一种新的计算架构——在通用 CPU 和专用 AI 加速器之间实现平衡。
报告中也详细阐述了 Arm 的策略:通过整合 CPU、GPU、AI 加速器以及 Arm KleidiAI 等软件,Arm 计算平台不仅实现了卓越的性能,还在各类型的端侧设备与边缘设备中提供了对开发者友好的可扩展性。
开发者生态是边缘 AI 时代的制胜关键
开发工具至关重要。开发者需要模型库、编译器和调优框架来支持快速试验。报告中提到的 Arm 开发者中心 就是一个典型范例,能为边缘 AI 社区提供了丰富的资源,助力开发者更快、更好、更高效地进行开发。
无论是优化成本、功耗还是延迟,AI 效率革新的浪潮已奔涌而至,正在重塑边缘计算的技术边界与应用潜能。
欲洞悉边缘 AI 全局脉络?请阅读完整报告。
补充信息:
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。