Arm Corstone-320：加速语音、音频和视觉物联网系统的部署

作者： Arm 物联网事业部物联网参考设计平台产品总监 Diya Soubra

随着语音、音频和视觉功能融合到物联网 (IoT) 中，联网设备与其周围环境交互、解读和感知的方式发生了彻底的变化。未来的物联网市场蕴含巨大机遇，特别是在视觉领域。在未来的十年里，数以百万计的先进摄像头将被部署到工厂、仓库、城市、办公室和商店等各类场所，从而推动了物联网用例前所未见的规模，呈指数级增长。这些用例涵盖安保、人员和环境监测、能源、设施和库存管理、访问控制、安全和用户界面，并且根据位置的不同，每个用例所需要的部署和管理水平各异。

Arm Corstone-320

Arm® Corstone™-320 是Arm新推出的全新物联网参考设计平台，助力我们的生态伙伴掌握物联网市场激动人心的新机遇。该平台结合了领先的嵌入式 IP、软件、工具和支持，其中包含了Arm虚拟硬件 (Arm Virtual Hardware)。该平台不仅能加快语音、音频和视觉系统的部署，还能够降低系统级芯片 (SoC) 设计人员和软件开发者所面临的复杂性。

除了降低复杂性和加快产品上市进程，Corstone-320 还带来了以下优势：

• 提高性能：通过提升计算吞吐量，为各种物联网设备和用例提供合适的算力。
• 改善内存带宽：对数据宽度和内存通道等内存带宽方面进行改善，从而为像素流提供全系统范围的互连带宽。
• 提高能效：提高可持续性，以及延长电池续航时间。
• 一系列电源模式：包括睡眠模式、待机模式和电源岛。
• 降低设计成本，并缩短工程时间：通过“开箱即用的” Corstone-320，设计人员和工程师能够立即启动 SoC 设计。
• 更多的安全功能：包括启动时和运行时的安全机制，都集成至系统中。
• 可观察性：Corstone-320 中内置了所有组件的全面调试和跟踪功能。
• 改进的灵活性：Corstone-320 设计针对不同的细分市场、设备和用例中进行定制。
• 一系列的软件支持：包括大量开源软件等一系列的软件支持，可降低总体成本和复杂性。

Corstone-320 硬件

在硬件方面，物联网参考设计平台 Corstone-320 集成了以下前沿的 Arm IP：

• Arm Cortex®-M85
• Arm Mali™-C55 ISP
• Arm Ethos™-U85 NPU
• Arm CoreLink™ DMA-350

Cortex-M85 搭载 Arm Helium™ 技术，也是性能最高的Cortex-M 处理器。尤其是视觉应用的理想之选。其优势包括：

• 高能效：能为需要长期运行的摄像头提供高能效。
• 高性能：能为需要实时捕获高质量视频和音频的摄像头带来高性能表现。
• 安全性：可抵御黑客攻击及其他形式的网络攻击。
• 灵活性：可用于大量的摄像头和视觉用例。

对于采用 Cortex-M 的应用而言，若想显著提升性能和强化安全性，升级到 Cortex-M85 是一条顺理成章的路径。除了 Arm TrustZone® 技术，该处理器还集成了指针验证和分支目标识别 (PACBTI) 安全技术，可抵御返回导向编程 (ROP) 和跳转导向编程 (JOP) 的安全漏洞攻击。

Ethos-U85 是 Arm 的第三代 NPU。与上一代产品相比，其性能提升四倍，能效提高 20%。该 NPU在物联网应用中具有可扩展性 ，支持 128 至 2048 个 MAC 单元的配置，可在1GHz时提供高达4 TOPs的机器学习（ML）加速。用于 AI 推理时，Ethos-U85 还支持 Transformer 架构和卷积神经网络 (CNN)。

Mali-C55绝佳地集成了高分辨率图像处理能力（可支持 4800 万像素的图像分辨率）、能效、可配置性及无与伦比的图像质量，适用于广泛的物联网视觉应用。同时，高度可配置的直接内存访问控制器 DMA-350，可实现高效的数据移动，从而提高系统性能和能效，并支持 Arm TrustZone技术。

Corstone-320 套件还涵盖了技术参考手册、配置和渲染脚本，以及验证报告。这意味着 ASIC 开发者能够根据特定细分市场的要求构建 SoC，或在开始定制设计前，使用此套件来探索 Arm 的计算设计概念。

Corstone-320 软件

Corstone-320 软件套件包括固件、所有 IP 的驱动程序、中间件、实时操作系统 (RTOS) 和云集成、ML 模型和参考应用程序。这意味着软件开发者能够轻松选择其特定细分市场所需的组件，并使用所选开发工具为该设备构建物联网堆栈。开源应用程序演示了关键词识别、语音识别和目标识别用例。与此同时，Corstone-320 中包含的原型平台能使软件开发与 SoC 设计并行启动。

软件中还包含了固定虚拟平台 (FVP)，用于对构成完整 FPGA 系统的外设进行建模。通过使用 FVP，软件开发者无需硬件即可开始开发应用，从而加快开发速度。

Arm 拥有全球最大规模的 AI 合作伙伴生态系统，这些合作伙伴提供 ML 模型和软件，满足多样化的物联网设备需求，覆盖了从嵌入式系统的低功耗传感器到未来环境体验的高性能物联网应用。

解锁物联网的创新机遇

语音、音频和视觉与物联网设备的持续集成带来了巨大的创新机遇。通过赋能这些设备以更加复杂的方式与其周围环境交互、解读和感知，从前难以想象的广泛新应用和功能正逐步被发掘。而这将推动物联网设备和技术实现重大的创新与变革。

Corstone-320 正处于这个变革的前沿，为物联网市场提供低成本、低功耗、高性能的智能参考设计平台。通过集成式软件与硬件相结合，该平台将在各个用例和场景中显著加快产品上市进程，并降低 SoC 设计与软件开发的复杂性。这将有助于生态系统以前所未有的速度扩展物联网应用。