亿迅智能制造网
工业4.0先进制造技术信息网站!
首页 | 制造技术 | 制造设备 | 工业物联网 | 工业材料 | 设备保养维修 | 工业编程 |
home  MfgRobots >> 亿迅智能制造网 >  >> Manufacturing Equipment >> 工业机器人

向 i.MX 8M 系列添加 ISP 和机器学习加速

了解 i.MX 8M Plus 应用处理器如何支持边缘计算,为包括工业任务在内的各种应用加速机器学习。

云计算、边缘计算和基于视觉的系统已经接管了越来越多的工业和消费系统。此外,许多现代系统采用机器学习和人工智能来增强用户体验。这种方法通常需要嵌入式系统设计人员利用各种不同的 SoC 和专用处理器来完成所有这些任务。

然而,恩智浦决定采用不同的方法,他们将图像信号处理器 (ISP)、用于机器学习加速的神经处理单元 (NPU) 和 MPU 结合在一个设备中:先进的 i.MX 8M Plus应用处理器。

图 1. i.MX 8M Plus 应用处理器。

云计算与边缘计算

需要了解一些上下文才能理解 i.MX 8M Plus 应用处理器为何为边缘计算提供强大的解决方案。

云计算是指用户网络范围之外的计算机系统资源的按需可用性。这些资源可以是任何类型的。但是,它们通常用于执行要求苛刻的任务和数据存储。

通常,基于云的数据中心并不是单一用户或组织专有的。相反,资源在所有用户之间共享。通常,公共云服务采用现收现付模式,这意味着如果将不必要或嘈杂的数据上传到云端进行处理,成本会迅速增加。

这就是边缘计算可以派上用场的地方。边缘计算将用户和云之间的一些资源置于其网络范围内。然而,通常并非所有计算都在边缘执行。相反,边缘的资源用于过滤数据并在不需要的元素上传到云并产生不必要的成本之前丢弃它们。通常会利用机器学习和人工智能对结果进行自动分类,并将相关信息上传到云端。

但是,也可以完全省略云并在本地边缘处理器上运行所有机器学习推理,例如 i.MX 8M Plus 应用处理器,它具有一些优势。

使用边缘计算优于云计算的潜在优势

边缘计算(例如 i.MX 8M Plus 提供的计算)提供了许多优于云计算的可能优势,值得更仔细地考虑。

除了成本因素,上传到云端的数据减少也会减少整体网络流量,这可以加速其他依赖网络的应用程序。这不仅提高了处理器专用于的任务的效率,而且还为其他辅助活动和优先事项释放了关键资源。

接下来,在本地运行推理意味着即使云服务离线或网络连接中断,应用程序也可以继续运行。这可能是一个重要因素,尤其是对于安全关键用例,但对于其他连接的应用程序,如家庭安全设备。

此外,与使用云服务相比,该解决方案提供了更好的延迟和更短的响应时间。例如,在执行工厂车间目视检查和其他时间紧迫的应用程序时,低延迟很重要。

最后,用户隐私是另一个需要考虑的因素。每个外部服务在处理机密数据时都存在潜在的安全风险。因此,将重要信息保持在用户网络范围内可以提高整个应用程序的安全性。这不仅对工业用户很重要,对私人用户和客户也很重要,例如在使用语音助手或处理个人视频和图像文件时。

需要多少机器学习性能?

对于云计算,机器学习性能通常不是问题或限制因素。然而,在边缘执行这些操作时,问题变成了需要多少功率。衡量机器学习性能的一种流行方法是 TOPS,它是每秒万亿 (tera) 次操作的首字母缩写,顾名思义,它指的是每秒(通常是 8 位整数乘法或累加)操作的数量.然而,整体系统性能将取决于更多因素。尽管如此,TOPS 仍然经常用于快速比较机器学习系统的性能。

事实证明,边缘的完整语音识别(不仅仅是关键字识别)需要大约一到两个 TOPS 的系统性能。真正的要求在很大程度上取决于所采用的算法以及了解用户所说的内容是否至关重要。另一个例子是每秒 60 帧的目标检测,当使用 Yolov3 等算法时,大约需要 2 到 3 个 TOPS。

由于边缘的处理和机器学习变得越来越相关,恩智浦在 i.MX 8M Plus 应用处理器中添加了一个性能约为 2.3 TOPS 的机器学习加速器,使其能够很好地完成各种工业任务和许多其他任务。应用程序,而无需使用外部基于云的服务。

图 2. i.MX 8M Plus 应用处理器非常适合使用外部基于云的服务的各种工业任务。

i.MX 8M Plus 已为嵌入式视觉系统做好准备

到目前为止,本文提到了需要相机才能运行的各种应用示例。其中之一是基于视觉的系统,该系统在自动光学检查后丢弃生产线末端的故障零件。所有这些系统都需要视觉输入,例如来自相机的图像。 ISP 功能存在于每个基于相机的系统中。通常,图像信号处理器存在于外部设备中,例如相机本身,并且远离用户。此类 ISP 通常负责一些不同的图像优化和过滤任务。

在许多情况下,无需使用专用 ISP 即可逃脱,例如,使用简单的 USB 网络摄像头时。然后,ISP 通常已经内置到相机中,它会在用户不注意的情况下执行所有必要的转换。

然而,此类 ISP 有其局限性,它们通常适用于高达 2 兆像素的分辨率。此外,在某些情况下,缺少对 ISP 的控制、增加的复杂性和增加的功耗可能会带来问题。

当需要比 2MP (1080p) 更高的图像分辨率时,嵌入式系统设计人员可以利用外部 ISP,这反过来会增加系统的整体复杂性和功耗。或者,设计人员可以使用带有内置 ISP 的应用处理器,例如 i.MX 8M Plus。这种方法提供了一种优化的成像解决方案,特别是在 2 兆像素和更高分辨率下,而不会增加系统的复杂性。

总结

与云计算相比,边缘计算有一些吸引人的优势,它有可能改变我们未来工作、生活和消遣的方式。其中一些好处包括提高可靠性、可扩展性和安全性,以及减少延迟。

借助 i.MX 8M Plus 应用处理器,恩智浦结合了两个因素,可在边缘实现现代应用。这种新型 MPU 将鼓励开发众多创新工业设备和消费级产品。它包括一个 ISP,用于构建需要高分辨率输入数据的现代视觉系统。

来自 ISP 的图像信息可以直接馈入内置 NPU,以启用依赖图像数据的高速应用程序,同时保持 CPU 空闲用于其他任务。此外,i.MX 8M Plus 应用处理器还提供了一些值得一看的其他功能,例如,具有时间敏感网络的以太网控制器、支持 ECC 的 DRAM 控制器,以及用于一系列应用程序。

借助 i.MX 8M Plus 应用处理器,无论是智能家居集线器、智能楼宇控制还是工业应用,基于高功率视觉的边缘应用都有无限可能。

行业文章是一种内容形式,允许行业合作伙伴以编辑内容不太适合的方式与 All About Circuits 读者分享有用的新闻、消息和技术。所有行业文章都遵循严格的编辑指南,旨在为读者提供有用的新闻、技术专长或故事。行业文章中表达的观点和意见是合作伙伴的观点和意见,不一定是All About Circuits或其作者的观点和意见。


工业机器人

  1. 了解云计算与虚拟化之间的关系
  2. 云和虚拟化有什么区别?
  3. 最好的云计算课程是什么?
  4. 2019 年及以后的云计算趋势
  5. 云计算提示和技巧
  6. 2020 年及以后的云计算就业市场
  7. 大数据和云计算的关系是什么?
  8. 云计算基础设施;了解基础知识
  9. 大胜:游戏中的云计算
  10. 云计算在银行业和金融业中的作用
  11. 英国排名前 10 的云计算工作
  12. 供应链和机器学习