相机学习和理解他们所看到的
机器人学家和人工智能 (AI) 研究人员知道，当前系统如何感知和处理世界存在问题。目前，他们仍在将传感器（例如专为记录图像而设计的数码相机）与计算设备（例如旨在加速视频游戏图形的图形处理单元 (GPU)）相结合。
这意味着人工智能系统只有在传感器和处理器之间记录和传输视觉信息后才能感知世界。但是很多可以看到的东西通常与手头的任务无关，例如自动驾驶汽车经过时路边树木上的树叶细节。目前，所有这些信息都被传感器细致地捕获并发送给系统，其中包含不相关的数据，既耗电又耗时。
研究人员从自然系统处理视觉世界的方式中汲取了灵感——人的眼睛和大脑一起工作以理解世界，在某些情况下，眼睛本身进行处理以帮助大脑减少不相关的东西。研究人员直接在图像平面上实施了卷积神经网络 (CNN)，这是一种用于实现视觉理解的 AI 算法形式。 CNN 可以每秒数千次对帧进行分类，而无需记录这些图像或将它们发送到处理管道。研究人员考虑了对手写数字、手势甚至浮游生物进行分类的演示。
该研究提出了智能专用 AI 摄像头的未来——视觉系统可以简单地将高级信息发送到系统的其余部分，例如摄像头前发生的物体类型或事件。这种方法将使系统更加高效和安全，因为不需要记录图像。
这项工作结合了 SCAMP，这是一种相机处理器芯片，该团队将其描述为像素处理器阵列 (PPA)。 PPA 在每个像素中嵌入了一个处理器，该处理器可以相互通信，以真正并行的形式进行处理。这是 CNN 和视觉算法的理想选择。
像素级传感、处理和内存的集成不仅可以实现高性能、低延迟的系统，还可以实现低功耗、高效的硬件。 SCAMP 设备可以使用类似于当前相机传感器的封装来实现，但能够在图像捕获点拥有一个通用的大规模并行处理器。
传感器