彻底改变机器视觉：事件传感器如何驱动更快、更智能的图像处理

消费者和工业领域相机生成的内容激增，给机器以实用且高效的方式有效获取、处理和利用视觉数据的能力带来了负担。当前的挑战包括：收集大量数据（其中大部分与机器无关）；处理能力不足（特别是在受尺寸和功耗限制的应用中）：以及实时处理的需求。因此，视觉系统的开发人员（从智能手机、可穿戴设备、智能家居、物联网、系统、汽车技术到工业自动化设备）正在寻求改变传统视觉传感和数据采集方法的方法。

相机技术起源于为人类消费提供图像，但其历史上的进步（主要依赖于基于帧的方法）已被证明不足以满足现代机器视觉的要求。多年来，机器视觉一直依赖于为人类解释而获取和结构化的视觉信息：由图像传感器捕获的连续图像组成的视频流。每个图像代表特定时刻的静态快照，缺乏动态信息。这种收集视觉数据的方法在大多数设计用于监控动态环境中的变化和运动的机器视觉系统中都很普遍。

基于事件的视觉方法利用受人类视觉系统启发的神经拟态技术，旨在提高消费者、工业、汽车和其他领域的各种视觉支持系统的效率和性能，从而提高安全性、生产力和用户体验。 （图片：预言者）

当场景发生移动或变化时（这在大多数机器视觉应用中很常见），就会出现主要的挑战，并且视觉帧采集的固有局限性变得明显。无论设置的帧速率如何，如果相机尝试捕捉移动场景，它始终会不准确。由于场景的不同部分通常同时表现出不同的动态，因此采用单一采样率来调节成像阵列上的像素曝光不可避免地会导致无法充分捕获同时发生的这些不同的场景动态。

感知事件时少即是多

使这一挑战更加复杂的是，传统图像传感器的问题是它们速度慢且耗能，同时会产生过多的冗余数据，并且动态范围有限，这使得它们不适合机器视觉任务，特别是那些要求苛刻的操作环境中的任务。因此，受生物学启发的“神经拟态”基于事件的视觉系统现在正在成为替代方案，提供更高的速度、最小的延迟、更好的能效和更广泛的动态范围，非常适合各种机器视觉应用。

基于事件的视觉标志着现代机器视觉用途中视觉信息获取和处理方式的范式转变。该方法利用受人类视觉系统启发的神经拟态技术，旨在提高消费者、工业、汽车和其他领域的各种视觉系统的效率和性能，从而提高安全性、生产力和用户体验。

基于事件的视觉的工作方式与传统相机不同，因为它偏离了所有像素的统一采集率。相反，得益于每个像素的专用智能，每个像素根据光入射变化独立确定其采样时间。对比度检测信息封装在“事件”中，包括像素的 x、y 坐标和精确的事件生成时间。例如，借助 Prophesee 获得专利的基于事件的传感器，像素在检测到对比度变化（运动）时会智能激活，从而有助于在像素级别连续捕获基本运动细节。

与固定帧速率的区别在于每个像素如何根据其视觉输入调整其采样率。这种个性化方法允许每个像素通过对入射光水平的变化做出反应来确定其采样点。因此，采样过程不再由人工定时源决定，而是由信号本身或特别是由时间信号幅度波动决定。此类相机产生的结果从图像序列演变为根据场景动态有条件生成的连续的单个像素数据流。

事件传感器具有多种优势，包括高速运行（相当于 10,000 fps）、高效功耗（低至微瓦范围）、低延迟以实现更快的响应时间、减少数据处理需求（比基于帧的系统少 10-10,000 倍）以及高达 120dB 的高动态范围。这些功能使事件传感器适用于各种应用和产品。

应用基于事件的愿景

支持神经形态的事件传感器可用于各种工业自动化任务，有助于提高生产率、质量、安全性和预防性维护。 （图片：预言者）

最初，神经形态事件传感器的商业用途不是用于机器，而是用于人类，用于视力受损个体的视力恢复。这导致了工业自动化和过程监控中的用例。这些用途证明了事件传感器对众多视觉任务的好处，特别是那些涉及快速移动和变化的元素、不可预测的环境照明条件和有限资源的任务。后续几代基于事件的系统已应用于工业环境中，用于高速计数、预防性维护（例如振动监控）、提高机器人效率和安全性、AR/VR 的眼球跟踪或手势跟踪以及各种物流和安全/安防应用等任务。

这些固有的优势使事件传感器成为物联网应用的理想选择。功耗在物联网设备中起着至关重要的作用，尤其是那些依赖电池的设备。基于事件的视觉非常适合此类场景，因为与基于帧的相机系统相比，它的运行功率水平要低得多。此外，基于事件的相机由于其与光无关的信息处理而在许多物联网应用中常见的具有挑战性的照明条件下表现出色。它们的高动态范围使它们能够在单帧内捕捉各种光强度，非常适合具有不同照明条件的环境，例如明亮阳光或夜间环境的户外场景。

凭借超过 120dB 的动态范围，基于事件的摄像机即使在传统摄像机难以应对不同照明条件的环境中也能有效运行 - 无论是白天的公共场所或车辆等极其明亮的环境，还是夜间操作或黑暗工厂环境等昏暗的场景，事件传感器可用于预防性维护和安全监控任务。 （图片：预言者）

基于事件的摄像机的动态范围超过 120dB，即使在传统摄像机难以应对不同照明条件的环境中，无论是白天的公共场所或车辆等极其明亮的环境，还是夜间操作或黑暗的工厂环境等昏暗的环境，事件型摄像机也能有效运行。此外，这些摄像机仅在场景内亮度发生变化时才传输信息，从而提供最小的延迟。事实证明，实时响应在快速变化的照明情况下具有优势，例如从亮到暗的突然转变，反之亦然。与传统的基于帧的相机相比，基于事件的相机可以检测光强度的个体变化，不易出现运动模糊。

该功能在涉及快速移动的场景中尤其有价值，可保证清晰的图像质量。利用这一优势的新用途正在为智能手机中的摄像头开发，例如 Prophesee 与高通公司合作，将其基于事件的技术与流行的 Snapdragon 平台集成。

物联网事件传感器的进一步开发涉及使它们适应边缘视觉任务，由于获取稀疏数据而板载计算能力有限。然而，非常规数据格式、可变数据速率和非标准接口等挑战阻碍了更广泛的采用。为了解决这个问题，以 Prophesee GenX320 为代表的最新一代事件传感器旨在通过整合事件数据预处理和格式化、兼容数据接口以及与包括节能神经形态处理器在内的各种处理平台的低延迟连接等功能来增强嵌入式边缘视觉系统的集成和可用性。例如，GenX320 提供多种预处理功能、适应性接口和电源管理选项，以有效满足功耗敏感的视觉应用。

尽管其运行效率很高，但优化事件传感器以实现适合物联网设置的低功耗仍然至关重要。实施一系列电源模式和特定于应用的操作模式可以显着提高“始终开启”应用的能源效率。利用片上智能电源管理机制和策略可以进一步提高传感器的灵活性和可用性； Prophesee 的解决方案已证明，在启用智能唤醒事件功能的情况下，功耗可降低至 36uW。此外，支持深度睡眠和待机模式也是有益的。

针对物联网应用的事件传感器的具体考虑因素包括以最小的延迟实现微秒级分辨率的事件时间戳，以及通过集成的事件数据预处理功能与标准 SoC 的无缝接口功能。利用 MIPI 或 CPI 输出接口可确保与低功耗微控制器和现代神经形态处理器架构等嵌入式处理平台的快速连接。通过事件传感器的稀疏无框事件数据确保传感器级隐私，包括静态场景去除。

基于事件的传感器不断发展以满足更广泛应用的需求。 Prophesee 的最新传感器 Genx320 使其非常适合许多必须在低功耗和小尺寸系统中运行的物联网用例的需求。 （图片：预言者）

基于事件的传感器现在被用于更广泛的应用中。通过将这些传感器与物联网平台集成，产品开发人员可以满足与功耗和尺寸相关的特定市场需求。使用案例包括用于增强 AR/VR 体验的注视点渲染、用于人机界面的眼球追踪以及驾驶员监控系统和情绪检测等安全应用。它们还支持用于安全目的的始终开启功能，例如跌倒检测摄像头和用于沉浸式界面的手势/手部跟踪。在 AR/VR 领域，基于闪烁 LCD 的由内而外跟踪和星座跟踪等应用可实现精确的物体或控制器跟踪。

通过硅技术增强实现的更多新用例正在开发中，包括高速结构光 3D 技术，该技术可以为工业应用以千赫兹重复率生成点云。随着视觉技术通过不捕获或传输图像来解决隐私问题，跌倒检测装置等具有隐私意识的智能家居系统也得到了更广泛的普及。

基于事件的视觉正在顺利地成为一种范式，它将在许多需要机器视觉效率的市场中创建新标准。在过去的几年中，它已成功发展以满足更广泛的用途。通过继续适应和满足许多应用程序的要求，我们将在我们周围看到更多基于事件的相机。

本文由 Prophesee（法国巴黎）首席执行官兼联合创始人 Luca Verre 撰写。如需了解更多信息，请访问此处。