微控制器在边缘 AI 中扮演越来越重要的角色

就在几年前，人们还认为机器学习 (ML)——甚至深度学习 (DL)——只能在高端硬件上执行，在边缘由网关、边缘服务器或数据执行训练和推理中心。当时这是一个有效的假设，因为在云和边缘之间分配计算资源的趋势还处于早期阶段。但由于工业界和学术界的密集研发努力，这种情况发生了巨大变化。

结果是，今天，不需要能够提供每秒数万亿次操作 (TOPS) 的处理器来执行机器学习。在越来越多的情况下，最新的微控制器（其中一些带有嵌入式机器学习加速器）可以将机器学习带到边缘设备。

这些设备不仅可以执行机器学习，而且可以以低成本、低功耗、仅在绝对必要的情况下才连接到云端。简而言之，集成 ML 加速器的微控制器代表了将计算引入传感器（例如麦克风、摄像头和监控环境条件的传感器）的下一步，这些传感器生成的数据可用于实现物联网的所有优势。

边缘有多深？

虽然边缘被广泛认为是物联网网络中的最远点，但它通常被视为高级网关或边缘服务器。然而，这并不是边缘实际结束的地方。它结束于用户附近的传感器。将尽可能多的分析能力放在用户附近变得合乎逻辑，这是微控制器非常适合的任务。

不同宽度乘数的 MobileNet V1 模型示例显示出对参数数量、计算和准确性的巨大影响。然而，仅将宽度乘数从 1.0 更改为 0.75 对 TOP-1 精度的影响很小，但会显着影响参数和计算的数量（图片：NXP）

可以说单板计算机也可以用于边缘处理，因为它们具有卓越的性能，并且在集群中可以与小型超级计算机相媲美。但是它们仍然太大且成本太高，无法在大规模应用程序所需的数百或数千个中进行部署。它们还需要外部直流电源，在某些情况下可能会超出可用范围，而 MCU 仅消耗毫瓦，并且可以由纽扣电池甚至几个太阳能电池供电。

因此，对于在边缘执行 ML 的微控制器的兴趣已成为一个非常热门的发展领域也就不足为奇了。它甚至还有一个名字——TinyML。 TinyML 的目标是允许推理和最终训练在小型、资源受限的低功耗设备上执行，尤其是微控制器，而不是更大的平台或云中。这需要缩小神经网络模型的大小，以适应这些设备相对适中的处理、存储和带宽资源，同时又不会显着降低功能和准确性。

这些资源优化方案允许设备摄取足够的传感器数据以满足其目的，同时微调精度并减少资源需求。因此，尽管数据可能仍会发送到云端（或者可能先发送到边缘网关，然后再发送到云端），但由于已经进行了大量分析，因此发送的数据会少得多。

TinyML 的一个流行示例是基于相机的对象检测系统，该系统虽然能够捕获高分辨率图像，但存储空间有限，并且需要降低图像分辨率。但是，如果相机包括设备上的分析，则只会捕获感兴趣的对象而不是整个场景，并且由于相关图像较少，因此可以保留其较高的分辨率。这种能力通常与更大、更强大的设备相关联，但微型机器学习技术允许在微控制器上实现。

小而强大

尽管 TinyML 是一种相对较新的范式，但它已经在推理（即使是相对适中的微控制器）和训练（在更强大的微控制器上）以最小的精度损失产生了令人惊讶的结果。最近的例子包括语音和面部识别、语音命令和自然语言处理，甚至并行运行多个复杂的视觉算法。

实际上，这意味着成本低于 2 美元、配备 500 MHz Arm Cortex-M7 内核和 28 KB 至 128 KB 内存的微控制器可以提供使传感器真正智能化所需的性能。

即使在这个价格和性能水平上，这些微控制器也具有多种安全功能，包括 AES-128、支持多种外部存储器类型、以太网、USB 和 SPI，并且包括或支持各种类型的传感器，以及蓝牙、 Wi-Fi、SPDIF 和 I ² C 音频接口。多花一点钱，该设备通常具有 1 GHz Arm Cortex-M7、400 MHz Cortex-M4、2 MB RAM 和图形加速功能。 3.3 VDC 电源的功耗通常不超过几毫安。

机器学习用例（图片：NXP）

关于TOPS的几句话

当消费者使用单一指标来定义性能时，他们并不孤单；设计师一直这样做，营销部门喜欢它。这是因为标题规范使设备之间的区分变得简单，或者看起来如此。一个经典的例子是 CPU，多年来它是由其时钟频率定义的。幸运的是，对于设计师和消费者来说，情况不再如此。仅使用一个指标来评估 CPU 类似于通过引擎的红线来评估汽车的性能。这并非毫无意义，但与发动机的功率或汽车的性能无关，因为许多其他因素共同决定了这些特性。

不幸的是，神经网络加速器（包括高性能 MPU 或微控制器中的加速器）也是如此，这些加速器由每秒数十亿或数万亿次操作指定，因为再一次，这是一个容易记住的数字。但在实践中，仅 GOPS 和 TOPS 是相对无意义的指标，代表在实验室中进行的测量（无疑是最好的），而不是代表实际操作环境。例如，TOPS 没有考虑内存带宽的限制、所需的 CPU 开销、前处理和后处理等因素。当考虑所有这些和其他因素时，例如在实际操作中在特定板上使用时的性能，系统级性能可能是数据表中 TOPS 值的 50% 或 60%。

所有这些数字告诉你的是硬件中计算元素的数量乘以它们的时钟速度，而不是它需要运行时提供数据的频率。如果数据总是立即可用，功耗不是问题，不存在内存限制，并且算法无缝映射到硬件，它们会更有意义。但现实世界并不存在这样理想的环境。

当应用于微控制器中的 ML 加速器时，该指标的价值甚至更低。这些微型设备通常具有 1 到 3 TOPS 的值，但仍然可以提供许多 ML 应用程序所需的推理能力。这些设备还依赖于专为低功耗 ML 应用设计的 Arm Cortex 处理器。除了支持整数和浮点运算以及微控制器中的许多其他功能外，很明显，TOPS 或任何其他单一指标无法单独或在系统中充分定义性能。

结论

随着物联网领域越来越接近在边缘执行尽可能多的处理，现在出现了直接在传感器上或连接到传感器（例如静态和摄像机）上对微控制器执行推理的愿望。也就是说，微控制器内的应用处理器和神经网络加速器的发展速度很快，更熟练的解决方案经常出现。趋势是将更多以 AI 为中心的功能（例如神经网络处理）与微控制器中的应用处理器整合在一起，而不会显着增加功耗或尺寸。

如今，模型可以在功能更强大的 CPU 或 GPU 上进行训练，然后使用 TensorFlow Lite 等推理引擎在微控制器上实现，以减小模型大小以满足微控制器的资源需求。可以轻松执行扩展以适应更高的 ML 要求。很快，不仅可以执行推理，还可以执行训练 在这些设备上，这将有效地使微控制器成为更大、更昂贵的计算解决方案的更强大的竞争对手。

>> 本文最初发表于我们的姊妹网站 EE Times。