随着 AI 推理转移到边缘，云提供商引用了角色

在需要低延迟的情况下，或者在边缘收集的大量数据发送到云中的成本过高的情况下，在嵌入式边缘设备上执行 AI 推理很有吸引力。专用机器学习加速器、最先进的微控制器以及 AI 模型和软件的进步意味着可以在边缘功率预算下进行比以往更多的 AI 推理。然而，即使所有推理都在边缘完成，云服务提供商表示，云仍然是管理现场设备的有用工具。

AWS 物联网

在 Embedded World Digital 2021 上，云提供商 AWS 和微软展示了他们针对边缘 AI 设备的生态系统解决方案。

“在设备本身上运行 TensorFlow Light 或机器学习模型是一种能力，”AWS 首席专家解决方案架构师 Rajeev Muralidhar 说。 “但是能够以安全的方式为设备生命周期构建完整的管道，大规模管理它们，能够在设备上推出正式升级，以便您可以管理在它们上运行的版本，提供更安全、更多的功能，以及更新在那里运行的机器学习模型的能力——这是另一个重要的能力。”

AWS 通过其 AWS IoT 平台为此提供了基础设施。 Muralidhar 表示，该平台由三个关键部分组成——设备端软件（FreeRTOS 或 AWS Greengrass）、控制和连接组件（AWS IoT Core）以及分析服务。

AWS 通过其 IoT 平台为边缘 AI 设备提供支持（图片：AWS）

FreeRTOS 是一种广泛用于微控制器级设备的开源操作系统。它带有长期支持 (RTS)，可保证两年内的安全更新、功能升级和错误修复。它还具有安全地进行无线更新的功能，并将固件大规模部署到现场部署的设备上。 FreeRTOS 内核可以直接与可能运行 AWS Greengrass 的设备网关通信。

AWS IoT Core 是数据进入云的入口点。它包括一个消息代理，可以对数据制定规则，无论是存储数据，还是将其移动到数据库或仪表板中进行分析，例如用于机器学习分析的 SageMaker。

AWS IoT 平台还具有用于大规模车队管理、设备管理和 IoT 分析的组件，以及可以自动检测和响应来自 IoT 设备的事件的事件管理功能。

“当您考虑大规模设备时，端到端设备生命周期管理至关重要，更新这些设备底层操作系统的能力也至关重要，”Muralidhar 说。 “您希望能够安全地执行此操作，您希望能够轮换安全凭证，这样您就不会损害设备群的安全性。”

Muralidhar 说，理想的情况是将传入的数据发送到云端，以便进行持续的评估和培训。

“[然后] 当你有更新的更准确的模型时，你可以将它们拉入设备，然后将其推广到工业车间的整个设备车队，或您的联网车辆车队，”他说。 “这样，您车辆中运行的设备功能更强大，反应更快、更准确。”

Azure Percept

在展会上，微软还展示了其全新的 Azure Percept 概念。 Azure Percept 是边缘 AI 的硬件和软件平台，它利用了 Azure 的一些云产品——包括设备管理、AI 模型开发和分析。 Azure 云工具用于管理设备、访问开源 AI 模型或创建新模型。

微软的 Azure Percept 平台是硬件和软件。硬件包括可信平台模块（中）、Azure Percept Audio 模块（左）和 Azure Percept Vision 模块（右）（图片：Microsoft）

该公司还推出了带有两个模块的硬件开发套件。用于边缘计算机视觉的 Azure Percept Vision 模块基于英特尔的 Movidius Myriad X AI 加速器。还有一个 Azure Percept Audio 模块，但没有提供该模块的详细信息。

通过此新产品，Microsoft 希望提供一种端到端解决方案，以降低非专业人士的进入门槛。这个想法是为了简化边缘 AI 的开发、训练和部署。

Azure Percept 还连接到 Azure IoT 中心，旨在促进 IoT 设备和 Azure 云之间的安全通信。

未来，微软计划扩大第三方提供的 Azure Percept 设备的数量。使用当前硬件开发套件的开发人员随后将能够在市场上可用的 Percept 认证设备上部署他们的解决方案。

>> 本文最初发表于我们的姊妹网站 EE Times Europe。