添加边缘智能：恩智浦采访

当今的一个关键主题（在 2021 年嵌入式世界的许多演讲中明确涉及）是广泛采用边缘计算以实现边缘智能。一些预测预计到 2025 年，90% 的边缘设备将使用某种形式的机器学习或人工智能。

启用这种边缘智能有哪些问题，如何实现？这是 NXP Semiconductors 高级副总裁兼边缘处理业务总经理 Ron Martino 最近在播客中的谈话主题。虽然您可以在此处收听完整的播客，但我们会提供本文讨论的一些摘录。

定义边缘计算

就其核心而言，边缘计算是一种更接近用户的高效处理能力。我们可以更快地洞察数据。 您能否根据恩智浦如何解决边缘计算来定义边缘计算？

马提诺 ：边缘计算简单来说就是分布式本地计算和感知能力。它有效地解释、分析和处理传感器数据，以执行一组有意义的功能。它不会试图成为云的替代品或替代品，而是免费的。传统上，例如在语音辅助中，大量数据被发送到云，在那里使用更高的计算能力来增强体验。边缘计算正在向更智能、更智能的方向发展。智能边缘计算平衡了本地计算与中央或云计算的使用。随着这一趋势的进一步发展，我们希望终端设备具有更多能力来进行解释、分析，然后在本地做出决策，从而实现更多智能。

您能否举例说明如何使用边缘计算来提高生产力和安全性？

马提诺 ：就生产力而言，一个很好的例子是增强劳动力：利用边缘处理或支持视觉和机器学习的可穿戴设备，工人可以在其中诊断问题，并更快地修复问题，无论是在家中还是在工厂.

智能边缘设备通过识别各种危险信号来增强安全性：通过识别警报、跌倒或玻璃破碎，然后通过使用额外的传感器信息和计算来确定问题。无论是使用恩智浦正在开发的雷达传感设备，还是使用视觉能力，或者只是将音频输入解析到设备中。

如果我们转向更环保和能源意识，要解决的一个概念是吸血鬼能量，即您插入设备，它们什么都不做，但仍在消耗能量。

我们也正在转向“感知边缘”的概念，其中设备以类似人类的行为做出更多反应。他们开始了解他们的环境，他们汇总输入并与其他设备交互以收集信息并了解情况的背景，然后做出相应的决定。一个简单的实际例子是具有本地能力的交通模式，它可以解释人群和不同的拥堵点，并通过观察和感知汽车数量和条件来优化本地情况，从而提高驾驶效率，避免浪费时间。

支持边缘智能的技术

从技术角度来看，构成智能优势和感知优势的部分是什么？

马提诺 :先从基础开始吧。您需要拥有计算平台，并且它们需要扩展。它们需要节能。与过去不同，现在真正是关于多个独立的异构计算子系统。基本上就是有一个 GPU、一个 CPU、一个神经网络处理单元、一个视频处理单元和一个 DSP。

您如何优化这些不同的硬件加速器和计算设备并针对给定的最终应用进行优化？这就是恩智浦在拥有所有这些其他元素的可扩展计算范围方面真正擅长的地方。然后是针对语音应用程序、人机交互的优化硬件加速器或功能的集成，其中涉及视觉和语音，然后以真正涉及超低泄漏的方式进行此操作，操作模式可以调整为真正优化能源使用，即使使用这些大型片上存储器，在您查看某些工作负载时也是必要的。

这将继续优化机器学习能力、对许多不同攻击面进行最高级别覆盖的安全集成、高效连接、高效能源使用以及开放标准。它还可以利用恩智浦提供的技术，例如高精度距离测量，无论它是否使用我们的 UWB 技术以非常准确的方式定位给定人员或跟踪设备的物理位置。

最后一件事是将这一切包装在无缝的用户体验中，因为如果它不容易使用，并且使用起来不自然，那么它就不会被使用。因此，获得无缝、舒适的体验绝对至关重要。

用户如何构建这样的解决方案？

马提诺 ：我们提供所有产品，从处理器或微控制器的基本产品，一直到针对本地语音、视觉、检测和推理功能或这些功能的组合预先优化的参考平台。我们将客户可以购买的参考平台放在一起，例如我们的 RT 系列设备。我们有一个可以购买的人脸识别产品，这是一个完全启用和设计的系统，客户可以将其作为一个起点，在他们想要专攻的地方或他们想要打上品牌的地方修改他们的需求。

消费者和工业用例中的技术差异

行业中的大多数人都会同意，我们家庭和工作中的智能设备和系统越来越受欢迎。正如您所说，普通的旧物联网与工业市场之间有哪些技术差异？

马提诺 ：当您将工业领域与 [消费者] 物联网世界进行比较时，连接标准、环境要求、寿命需求（可以是 15 年以上）和安全要求要广泛得多，要求也更高。恩智浦正在投资的一个领域是时间敏感网络 (TSN)，将 Mac 和交换机集成到一整套设备中，这些设备可以支持多台机器的菊花链设置、工作和支持端点功能，利用这种更具确定性的TSN 骨干网，它还支持许多传统标准正在融合的更高数据速率和吞吐量。

将此与[消费者]物联网市场进行比较。对于智能家居和可穿戴设备等应用，对于极高的能源效率、更多地使用语音 HMI、无线连接以及更短的生命周期有着更广泛的需求。在可穿戴设备方面，您想要出色的用户体验，但又想要最长的电池寿命。优化这些边缘设备以执行其功能，然后关闭并延长电池寿命非常重要，并且必须以最有效的方式实现真正丰富的用户体验，因为那是它消耗电池的时间。

互操作性挑战

在智能家居领域，通常很难从一家公司获取产品并使其与其他设备一起使用。恩智浦如何尝试改变智能家居无线互操作性挑战？

马提诺 ：以智能家居设备为例，标准和互操作能力非常分散。我们有一个名为 CHIP 或“通过 IP 连接的家庭”的标准项目。它与 NXP 以及许多其他行业领导者共同努力，试图整合整个行业通用的开放标准，而不是整合到专有标准，并允许人们在此开放标准的基础上进行构建。

该项目的重点是建立在恩智浦和其他公司围绕 ZigBee 和 Thread 以及 ZigBee 联盟所做的多年工作的基础上，然后利用上层能力，利用亚马逊、苹果、谷歌已经推出了构建这个我们称为 CHIP 的开放标准，并在设备之间建立了这种通用链接。当你插入一些东西时，连接起来会非常简单。

恩智浦的计划是在今年晚些时候将实际产品推向市场，其中包含 CHIP 标准的第一个版本。

解决添加边缘智能的复杂性和成本

转向边缘的机器学习和人工智能。这一切听起来相当复杂和昂贵，对吗？

马提诺 ：对于许多人来说，当您谈论 AI 和 ML 时，这是一个非常复杂的抽象概念。有预测称，到 2025 年，90% 的边缘设备将使用某种形式的机器学习或人工智能。我们坚信情况确实如此，我们正在推出围绕此优化的产品。它结合了我们为优化所使用的硬件、处理器和微控制器来运行此功能所做的工作。对于最终用户而言，更重要的是部署对最终用例有意义的实用机器学习有多复杂。

有许多公司想要收集数据并创建自己的模型。恩智浦重点关注的是，我们如何启用与云无关的功能，从而在简单的用户界面或开发环境中实现灵活性？

这就是我们最近宣布对 Au-Zone 的投资，并且在 2021 年将推出一个增强的开发环境，您可以在其中选择您引入的内容类型。您自己的数据、您拥有的模型或您的模型已选择通过您最喜欢的来源或云提供商进行获取，并将其带来，然后对其进行优化，并将其部署到终端设备上。因为这就是优化。

机器学习如何增加最终解决方案的成本？

马提诺 ：如果你有一个非常复杂、繁重的机器学习模型或能力，那将需要更高的计算能力，计算能力越高，它就越昂贵。您可以选择在边缘处理器上执行此操作，也可以选择将其部署到云中。当我们尝试针对特定用例调整这些用例或这些模型时，您可以变得非常高效，然后您可以利用传统技术扩展和摩尔定律来真正添加特定于 ML 的硬件加速，这不会占用很大的硅面积。

它变成了一个小的成本加法器，但却是执行您想要的给定工作的最佳能力。举个例子，无论是在本地检测人员还是识别他们是谁，您现在都可以在微控制器上非常高效地完成这项工作，并通过非常非常高效的芯片实现进行了优化。然后，您还可以使用我们的一些处理器使其具有可扩展性，您可以在其中扩展到外部更高性能的神经网络处理器，或者以免费的方式使用云。同样，所有这些都会给他们带来成本，这取决于任务的复杂性，但对于您可以推出的非常复杂的功能来说，它可能非常有效。

道德人工智能

人们越来越关注机器学习模型和人工智能中的偏见。行业在帮助确保符合道德的 AI 方面扮演什么角色？

马提诺 :需要清晰的操作透明性，无论是围绕“我想知道它在听我还是在看我”的简单概念，而且如何确定其结论然后采取行动变得非常重要。安全标准，以确保系统是安全的，并且在攻击面方面没有后门访问或其他敏感性或漏洞，以便有人可以访问 AI 系统，然后影响它做某些事情或做出某些决定可能对攻击系统的人有利。

你如何实现没有预设偏差的人工智能系统，从原则基础来看，这是错误的？在恩智浦，我们推出了一项人工智能道德倡议，强调了我们对这一道德发展的承诺。在那里面，我们谈论做好，我们谈论保持以人为中心的人工智能，这实际上是围绕避免从属于人工智能系统或被人工智能系统胁迫，以及这种透明度、科学卓越的高标准以及信任在人工智能系统中。

您认为实施边缘技术还存在哪些挑战？

马提诺 ：这是一项持续的活动，有许多领域需要继续优化。能源效率、推动和利用能量收集概念以及设备的接近阈值操作是业内许多人的持续投资。安全性以及保护数据和继续推进这项工作的需要是一项持续的活动。

投资于特定于硅的签名和不同类型的密码学，以及以受保护的方式执行计算的方法，例如同态加密、在加密环境中执行计算并且从不对其进行解密。然后围绕延迟要求中的吞吐量连接以及功耗进行扩展。在优化过程中，我们将继续优化连接性，并以越来越高效的方式将其引入这些边缘设备。

最后，对于感知终端智能的整个概念，我们正处于开发和实施神经网络处理器或进入我们处理器的子系统的第三代阶段。这正在推动效率和规模的提高，但在通过加速器、围绕尖峰神经网络的不同技术以及量子 AI 提高效率方面，该领域仍在继续研究。很明显，在短期内，我们将看到更多传统加速器的持续发展，以及将这些集成到恩智浦推向市场的这些可扩展处理器中。

您可以在此处收听完整的 27 分钟播客“赋能无处不在的优势”。