革新机器视觉：事件驱动传感器如何推动更快、更智能的图像处理

跨消费和工业领域相机生成内容的激增，给机器有效获取、处理和利用视觉数据带来负担。当前挑战包括：收集海量数据（大多与机器无关）；处理能力不足（尤其在尺寸和功耗受限应用中）；实时处理需求。因此，视觉赋能系统开发者——涵盖智能手机、可穿戴、智能家居、物联网、汽车技术至工业自动化设备——正寻求变革传统视觉感知和数据采集方法。

源于为人类提供图像，相机技术历史上主要依赖基于帧的方法，已无法满足现代机器视觉需求。多年来，机器视觉依赖为人类解读而获取和构建的视觉信息：由图像传感器捕获的顺序图像组成的视频流。每帧代表特定时刻的静态快照，缺乏动态信息。这种收集视觉数据的方法普遍存在于监测动态环境变化和运动的大多数机器视觉系统中。

利用受人类视觉系统启发的神经形态技术，基于事件的视觉方法寻求在消费、工业、汽车及其他领域的各种视觉赋能系统中提升效率和性能，提高安全性、生产力和用户体验。（图片：Prophesee）

主要挑战出现在场景有运动或变化时——这在大多数机器视觉应用中很常见——传统视觉帧采集的固有局限显现。无论设定何种帧率，相机捕捉移动场景都将始终不准确。因场景不同部分通常同时表现出不同动态，对成像阵列所有像素采用单一采样率调节曝光，必然导致无法充分捕捉同时发生的多样场景动态。

感知事件：少即是多

传统图像传感器的问题在于：速度慢、能耗高、产生大量冗余数据、动态范围有限，使其不适合机器视觉任务，特别是苛刻运行环境。因此，受生物启发的“神经形态”基于事件的视觉系统正作为替代方案出现，提供更高速度、最小延迟、更好能效、更宽动态范围，很好地满足各种机器视觉应用。

基于事件的视觉标志着现代机器视觉获取和处理视觉信息方式的范式转变。利用受人类视觉系统启发的神经形态技术，该方法寻求在消费、工业、汽车及其他领域的各种视觉赋能系统中提升效率和性能，提高安全性、生产力和用户体验。

基于事件的视觉不同于传统相机，它摒弃了所有像素统一采集率。相反，每个像素依靠专用智能根据入射光变化独立决定采样时刻。对比度检测信息封装在“事件”中，包含像素 x,y 坐标和精确事件生成时间。以 Prophesee 专利事件传感器为例，像素在检测到对比度变化（运动）时智能激活，在像素级持续捕获关键运动细节。

与固定帧率的区别在于每个像素可根据视觉输入调整采样率。这种个性化方法允许每个像素通过响应入射光电平变化来决定采样点。因此，采样过程不再由人为时序源决定，而是由信号本身——具体为时间信号幅度波动决定。此类相机输出从图像序列演变为基于场景动态有条件生成的单个像素数据连续流。

事件传感器提供多项优势：高速运行（相当于 10,000 fps）、极高能效（微瓦级）、低延迟实现更快响应、数据处理需求减少（比基于帧系统少 10-10,000 倍）、高达 120dB 动态范围。这些特性使事件传感器适用于各种应用和产品。

应用基于事件的视觉

神经形态事件传感器可用于各种工业自动化任务，帮助提升生产力、质量、安全、安保和预防性维护。（图片：Prophesee）

最初，神经形态事件传感器商业用途不在机器而在人类——用于视障人士视力恢复。这引出工业自动化和过程监测用例。这些用例展示了事件传感器在众多视觉任务中的优势，特别是涉及快速移动和变化元素、不可预测环境光、资源受限的任务。后续几代事件系统已应用于工业场景：高速计数、预防性维护（如振动监测）、提升机器人效率和安全、AR/VR 眼球/手势追踪、物流和安保应用等。

这些固有优势使事件传感器成为物联网应用的理想选择。功耗在物联网设备中至关重要，特别是依赖电池的设备。基于事件的视觉非常适合此类场景，因为其功耗远低于基于帧的相机系统。此外，事件相机在许多物联网应用常见的挑战性光照条件下表现出色，因其信息处理独立于光照。高动态范围允许单帧捕捉广泛光强范围，完美适应户外强光或夜间等多变光照环境。

动态范围超 120dB，事件相机甚至在传统相机难以应对的环境中有效工作——无论是公共场所或白天车辆等极亮场景，还是夜间作业、暗工厂等微光场景，事件传感器均可用于预防性维护和安全监测。（图片：Prophesee）

动态范围超 120dB，事件相机即使在传统相机难以应对的多变光照环境中也能有效工作——无论是公共场所或白天车辆等极亮场景，还是夜间作业、暗工厂等微光场景。此外，这些相机仅在场景亮度变化时传输信息，提供最小延迟。实时响应在光照骤变（如明暗突变）中优势明显。检测光强个别变化的事件相机比传统帧相机更不易产生运动模糊。

此特性在快速运动场景中尤为宝贵，确保图像清晰。利用此优势的新用例正在开发中，如智能手机相机，例如 Prophesee 与高通合作将其事件技术集成到流行的 Snapdragon 平台。

事件传感器在物联网边缘视觉任务的进一步发展涉及适配有限板载算力（因获取稀疏数据）。然而，非标准数据格式、可变数据率、非标准接口阻碍广泛采用。为解决此问题，最新一代事件传感器（以 Prophesee GenX320 为例）旨在通过集成事件数据预处理和格式化、兼容数据接口、与各种处理平台（含节能神经形态处理器）的低延迟连接，增强嵌入式边缘视觉系统的集成和易用性。例如，GenX320 提供多种预处理功能、可调接口、电源管理选项，高效满足功耗敏感视觉应用需求。

尽管运行高效，仍需优化事件传感器低功耗用于物联网部署。实现多种功耗模式和应用专用操作模式可显著提升“常开”应用能效。利用片上智能电源管理机制和策略可进一步优化传感器灵活性和易用性；Prophesee 方案在启用智能唤醒事件功能后演示将功耗降至 36μW。此外支持深度睡眠和待机模式也有益。

针对物联网应用的事件传感器具体考量包括：实现微秒分辨率事件时间戳且最小延迟，通过集成事件数据预处理功能与标准 SoC 无缝接口。利用 MIPI 或 CPI 输出接口确保与嵌入式处理平台（如低功耗微控制器和现代神经形态处理器架构）快速连接。事件传感器稀疏无帧事件数据确保传感器级隐私，包含静态场景移除。

事件传感器持续演进以满足更广泛应用需求。Prophesee 最新传感器 GenX320 使其非常适合许多必须在低功耗和小外形系统中运行的物联网用例。（图片：Prophesee）

事件传感器现已用于更广泛应用。通过将这些传感器与物联网平台集成，产品开发者满足功耗和尺寸相关的特定市场需求。用例包括：为增强 AR/VR 体验的中央凹渲染、人机界面眼球追踪、驾驶员监测系统和情绪检测等安全应用。还支持跌倒检测相机和手势/手部追踪等沉浸式界面的常开能力。AR/VR 领域应用包括基于闪烁 LCD 的内向追踪和星座追踪，实现精确物体或控制器追踪。

硅技术增强带来的进一步新用例正在开发中，包括高速结构光 3D 技术，以千赫兹重复率生成点云用于工业应用。注重隐私的智能家居系统（如跌倒检测单元）也因视觉技术不捕获或传输图像而解决隐私问题，正更广泛普及。

基于事件的视觉正在成为一种范式，将在许多要求机器视觉效率的市场建立新标准。过去几年，它成功演进以满足更广泛用途。通过持续适应和解决许多应用需求，我们将在身边看到更多基于事件的相机。

本文由 Prophesee（法国巴黎）CEO 兼联合创始人 Luca Verre 撰写。更多信息请访问此处。