Arm 为应用处理器提供神经处理 IP

Arm 已经创建了新版本的 microNPU（神经处理单元）IP，该 IP 适合与应用处理器中的 Cortex-A CPU 内核一起使用。主要被许可方 NXP 计划在即将推出的应用处理器系列中使用该 IP，这些应用处理器可以处理 AI 应用，例如视频中的姿势估计、多面识别和对象检测以及基本关键字识别之外的语音识别。

Ethos-U65

Arm 现有的 microNPU 产品 Ethos-U55 于 2020 年 2 月推出，旨在与 Cortex-M 内核一起开发微控制器级产品。它提供高达 0.5 TOPS 的加速度（基于较小的几何形状，例如 16 或 7 nm，以 1 GHz 运行），具有 3 到 256 个乘法累加单元 (MAC)。 Arm 的产品组合还有 Ethos-N77、N57 和 N37，它们分别提供 4、2 和 1 个 TOPS。

Ethos-U65 旨在保持 Ethos-U55 的功率效率，同时将可用 MAC 加倍——1GHz 下多达 512 个并行 MAC——总共 1 TOPS。这种功率/性能组合专门与应用处理器级设备中的 Cortex-A 内核一起使用。据 Arm 称，Ethos-U 系列对 ML 算子的原生支持也得到了更新和扩展。

主要被许可人

领先的技术合作伙伴（和主要的被许可方）恩智浦与 Arm 在 Ethos-U65 的定义系统级方面密切合作，并表示将把 Ethos-U65 IP 集成到其下一代 i.MX 应用处理器中。

恩智浦为带有 microNPU 的应用处理器提出的架构同时使用 Cortex-A 和 Cortex-M 内核（图片：NXP）

恩智浦人工智能/机器学习硬件首席工程师 Ben Eckermann 解释说，恩智浦为人工智能应用处理器设计的架构将使 Ethos-U65 微型 NPU 与 Cortex-M 和 Cortex-A 内核并存。 Cortex-A 运行应用程序，处理（比如）麦克风或摄像头的驱动程序，并向 NPU 提供工作负载。 microNPU 和 Cortex-M 计算机器学习工作负载并将答案反馈给 Cortex-A。

“就像 Ethos-U55 一样，[Ethos-U65] 依赖 Cortex-M 处理器在系统附近的某个地方，以防万一神经网络中的机器学习操作符完全卸载没有意义在硬件方面，”埃克曼说。 “有很多机器学习算子很少被调用，可能无法证明纯粹在硬件中实现。”

Eckermann 说，Cortex-M 在这种配置中提供的灵活性还允许一定程度的面向未来。

U65 拥有比 U55 更宽的内部系统总线，并且经过定制以应对与 DRAM 相关的额外缓冲和延迟（在使用应用处理器的系统中很常见，而 Cortex-M 系统通常使用 SRAM）。

填充投资组合

恩智浦正在完善其支持 AI 的 SoC 产品组合。

该公司之前宣布的 i.MX 8M+ 应用处理器具有 NPU AI 加速器块以及双核或四核 Cortex-A53 内核。这些产品中包含的 NPU IP 并非来自 Arm。这是一个 Verisilicon 设计，提供 2.3 TOPS，足以进行场景分割、实时视频人脸和对象识别或语音口音解释。在低端，恩智浦采用 Arm Ethos-U55 NPU 的微控制器可以处理人物检测、唤醒词检测和视频降噪。

支持 Ethos-U65 的产品将介于这两个产品类别之间，处理 AI 应用程序，例如多面识别、更复杂的语音识别或姿势估计。 Eckermann 表示，因此该类别中的任何新产品都不会与 i.MX 8M+ 重叠。

各种 AI 应用程序（x 轴）和相应的 NPU（图片：NXP）所需的计算量

>> 本文最初发表于我们的姊妹网站 EE Times。