工具提升价值链，揭开人工智能视觉的神秘面纱

为日常产品添加视觉效果的好处引起了许多行业和部门的关注。但是，您如何真正从相机获取数据，在设备上嵌入机器学习以执行推理算法，并处理一些有用的东西？

与任何系统设计一样，答案是拥有正确的软件、工具、库、编译器等。这些能力通常超出非工程师的掌握，这并不奇怪。但即使在嵌入式系统开发人员中，视觉系统设计所需的知识和技能也被认为是供不应求的。

正如 Edge AI 和视觉联盟的创始人 Jeff Bier 在 2021 年嵌入式视觉峰会前向 EE Timesahead 所做的简报中解释的那样，最大的挑战之一是缺乏对可用于开发嵌入式视觉系统的软件和工具的认识 . Bier 表示，虽然对算法和芯片进行了大量投资和研究，但在它们之间进行中介的软件工具——编译器、优化的函数库等——却在某种程度上被忽视了。

使用正确的软件工具、编译器和库可以为特定微控制器或处理器非常有效地实现算法。但是“在过去的 30 年里，半导体公司在软件工具方面的投资通常不足，”嵌入式系统行业和信号处理领域的资深人士比尔说。 “[软件] 通常被视为一种必然的邪恶——它是一个对成本非常敏感的企业的成本中心——它表明了这一点。作为嵌入式软件开发人员，您可能会查看 [对您] 可用的工具，与 PC 或云开发人员拥有的工具进行比较，并感觉自己像不受喜爱的继子。”

他将这一论点提升到一个新的水平，“您可能拥有嵌入式系统方面的专业知识，但这些开发人员可能从未使用过图像数据或深度神经网络。”

比尔说，技能是一个巨大的挑战。 “我们可能已经做了一些电子表格计算，然后说，‘是的，可以在我们的应用程序中以足够的性能运行这种深度神经网络。’但我们知道如何做到这一点吗？我们有技能吗？对于大多数组织来说，答案是否定的，因为他们过去没有机会使用这项技术。由于它在商业领域是一项相对较新的技术，因此他们没有专业知识。他们的公司没有机器学习部门或计算机视觉部门。

“在过去的几年里，这已经变成了计算机视觉和深度神经网络商业应用方面的一个非常大的瓶颈——只是技术诀窍。”

然而，随着公司在过去几年中寻求解决技能差距，这项技术变得越来越容易获得。 “知识和技能的差距一直很大，但越来越小，”比尔说，并补充说“几家公司”，一大一小，“在这方面处于领先地位。”大公司是英特尔；小的是Edge Impulse。

“英特尔经常给我留下深刻印象，因为它逆势而上，愿意以多种方式对软件工具进行大量投资，”比尔说。 “例如，他们拥有用于边缘计算机视觉和推理的 OpenVINO 工具链，以及用于边缘的 DevCloud。 Edge Impulse 也是一个基于云的环境。对于嵌入式开发人员来说，[云环境] 感觉很奇怪。他们的所有东西通常都在他们的办公桌上——开发板、工作站、工具——他们甚至不需要互联网连接。一切都非常本地化。所以，说‘把你的代码放在云端’并在云端运行工具感觉很奇怪。”

该趋势解决了部署时间和技能差距问题。 Bier 说，嵌入式开发人员经常遇到的挫折是访问电路板和工具并正确安装它们。时间表“通常以周为单位，有时以月为单位，这很痛苦，尤其是当你意识到这不是你所需要的，你需要与其他一些董事会重复这个过程时。”例如，您可能会在流程结束时发现“您需要下一个，具有更高的性能或一组不同的 I/O 接口。”

但是，如果供应商“将云中的所有开发板都连接到他们的机器上并且[可以]随意访问它们，那将提供极大的便利。同样，他们已经获得了最新版本的软件工具，并且已经理清了它们之间的所有依赖关系。”

为实现愿景铺平道路
那么，您如何加快嵌入式视觉的部署，以实现目标检测和分析等功能，无论是针对智慧城市、工厂、零售还是任何其他应用？

意识到比尔描述的痛点后，公司正在解决这些问题。有些现在提供诸如基于云的开发系统之类的工具，允许您提供代码或数据并立即获得评估。其他人提供了参考设计，让您只需插入相机输出，并从为常见应用程序提供推理算法的库或应用程序中进行选择。

在前阵营中，英特尔 DevCloud for the Edge 和 Edge Impulse 提供基于云的平台，通过轻松访问最新的工具和软件，消除大部分痛点。在后者中，Xilinx 和其他公司已开始提供完整的系统级模块系统和生产就绪应用程序，这些应用程序可以使用更高抽象级别的工具进行部署，从而消除对一些更专业技能的需求。

在云端进行原型、基准测试和测试 AI 推理
面向边缘的英特尔 DevCloud 让用户可以在一系列英特尔硬件上开发、原型设计、基准测试和测试 AI 推理应用程序，包括 CPU、集成 GPU、FPGA 和视觉处理单元 (VPU)。凭借其 Jupyter Notebook 界面，该平台包含教程和示例，其中预装了快速启动和运行所需的一切。这包括来自英特尔 OpenVINO 工具包最新版本发行版的预训练模型、示例数据和可执行代码，以及其他深度学习工具。所有支持设备都经过配置以实现最佳性能并准备好进行推理执行。

对于开发人员来说，最显着的好处是该平台不需要在用户端进行任何硬件设置。 Jupyter Notebook 基于浏览器的开发环境使开发人员能够从浏览器中运行代码并立即可视化结果。这让他们可以在英特尔的云环境中制作计算机视觉解决方案原型，并观察他们的代码在其可用硬件资源的任意组合上运行。

这种基于云的产品有三个主要好处。首先，它解决了硬件选择瘫痪的问题。开发人员可以在各种硬件上远程运行 AI 应用程序，以根据推理执行时间、功耗和成本等因素确定最适合他们的解决方案。

其次，它提供对最新英特尔边缘硬件的即时远程访问。在软件方面，它解决了必须处理过时软件的问题，因为它可以即时访问最新版本的 Intel Distribution of OpenVINO 工具包和兼容的边缘硬件。

第三，它以易于比较的并排格式提供了对特定于应用程序的性能基准的访问。

（此处提供有关使用面向边缘的英特尔 DevCloud 运行对象检测模型的教程。）

在云中构建模型，实时查看会发生什么
另一种方法是将数据输入云平台，以可视化和创建训练模型并将其部署在嵌入式设备上。 Edge Impulse 正是这样做的，它提供了一个基于云的开发环境，旨在简化在边缘设备上添加机器学习的过程，而无需博士学位。据该公司称，在机器学习方面。

它的平台使用户能够导入从现场收集的图像数据，快速构建分类器来解释该数据，并将模型部署回生产低功耗设备。 Edge Impulse Web 平台的一个关键是能够查看和标记所有获取的数据、创建预处理块以扩充和转换数据、可视化图像数据集以及直接从用户界面对训练数据的模型进行分类和验证。

由于从头开始构建计算机视觉模型可能非常困难，因此 Edge Impulse 使用迁移学习过程使模型训练变得更容易和更快。这涉及搭载训练有素的模型并仅重新训练神经网络的上层，从而产生更可靠的模型，这些模型可以在一小部分时间内进行训练并使用更小的数据集。通过设计、训练和验证模型，然后可以将该模型部署回设备。然后该模型可以在没有互联网连接的设备上运行，具有所有固有的好处，例如最小化延迟，并以最低功耗运行。完整的模型与预处理步骤、神经网络权重和分类代码打包在一个 C++ 库中，可以包含在嵌入式软件中。

进入更高层次的抽象
供应商提供的另一种方法是通过提供基于模块的系统并支持更高抽象级别的设计来缩短开发时间。 Xilinx 表示，通过解决视觉 AI 日益复杂的问题以及在边缘实施 AI 的挑战，其新的系统模块 (SOM) 方法可以将视觉系统的开发时间缩短多达 9 个月。

Xilinx 最近宣布了其新 SOM 产品组合中的第一款产品：Kria K26 SOM，专门针对智能城市和智能工厂中的视觉 AI 应用，以及开箱即用的低成本开发套件 Kria KV260 AI视觉入门套件。

Xilinx 工业、视觉和医疗保健总监 Chetan Khona 在推出新模块系列的新闻发布会上说：“生产就绪系统对于快速部署 [嵌入式视觉 AI] 非常重要。通过使用基于模块的设计而不是基于设备的设计，客户最多可以节省九个月的开发时间。”他补充说，使用入门套件，用户可以在一小时内开始使用，“无需 FPGA 经验。”用户连接摄像头、电缆和显示器，插入已编程的 microSD 卡并为电路板通电，然后可以选择并运行他们选择的加速应用程序。

Kria SOM 产品组合将硬件和软件平台与生产就绪的视觉加速应用程序相结合。这些统包式应用程序消除了所有 FPGA 硬件设计工作；软件开发人员只需集成他们的自定义 AI 模型和应用程序代码，并可选择修改视觉管道——使用熟悉的设计环境，例如 TensorFlow、Pytorch 或 Café 框架以及 C、C++、OpenCL 和 Python 编程语言。

Kria SOM 还支持嵌入式开发人员的定制和优化，支持基于标准 Yocto 的 PetaLinux。 Xilinx 表示，与 Canonical 的合作也在进行中，以提供 Ubuntu Linux 支持，这是人工智能开发人员使用的非常流行的 Linux 发行版。这提供了对 AI 开发人员的广泛熟悉以及与现有应用程序的互操作性。客户可以在任一环境中进行开发，也可以采用任一方法进行生产。两种环境都将预先构建软件基础架构和有用的实用程序。

我们重点介绍了供应商为解决嵌入式视觉系统开发的技能和知识差距以及部署时间而采取的三种方法。基于云的方法提供的工具可以“民主化”创建和训练模型以及评估硬件的能力，以便极快地部署到嵌入式设备上。提供带有应用程序库的模块或参考设计的方法允许 AI 开发人员使用现有工具快速创建嵌入式视觉系统。这些都让我们以不同的方式看待开发板和工具。他们通过向上移动价值链，将基础级别的工作留给供应商的工具和模块，从而揭开嵌入式视觉的神秘面纱。

相关内容 :

• 处于临界点的嵌入式视觉
• 嵌入式视觉和边缘人工智能的五个值得关注的趋势
• 机器会完全理解它们所看到的吗？
• Xilinx SOM 旨在更广泛地采用边缘 AI 和嵌入式视觉
• 嵌入式视觉峰会：微型 FPGA 上的机器学习感知
• 长城汽车为新款 SUV 采用 Ambarella AI 视觉 SoC
• AImotive 在 Nextchip Apache5 上显示出 98% 的边缘视觉效率
• 低功耗 AI 视觉板使用单节电池可持续使用“数年”
• OmniVision 缩小医学图像传感器，用于更深入的内窥镜检查