智能相机学会理解视觉世界
机器人专家和人工智能（AI）研究人员知道当前系统感知和处理世界的方式存在问题。目前仍将传感器（如为记录图像设计的数码相机）与计算设备（如为视频游戏加速图形设计的GPU）结合使用。
这意味着AI系统仅在传感器和处理器之间记录和传输视觉信息后才能感知世界。但许多可见事物往往与手头任务无关，如自动驾驶汽车驶过路边树木的叶子细节。目前所有这些信息被传感器以极致细节捕获并发送，堵塞系统，消耗功耗和处理时间。
仿生创新
研究人员从自然系统处理视觉世界的方式获取灵感——人眼和大脑协作理解世界，某些情况下眼睛自身执行处理以帮助大脑减少无关信息。研究人员在图像平面直接实现卷积神经网络（CNN），一种实现视觉理解的AI算法。CNN每秒可分类数千帧，无需记录图像或发送至处理流水线。演示包括手写数字、手势甚至浮游生物分类。
研究预示未来将有智能专用AI相机——视觉系统仅向系统其余部分发送高层信息，如镜头前物体类型或事件。这种方法使系统效率和安全性大幅提升，因无需记录图像。
硬件架构
工作结合SCAMP相机处理器芯片，团队称其为像素处理器阵列（PPA）。PPA每个像素嵌入处理器，可相互通信以真正并行处理。这非常适合CNN和视觉算法。
在像素级集成感知、处理和存储不仅实现高性能、低延迟系统，还承诺低功耗、高效硬件。SCAMP器件占地面积与当前相机传感器相似，但拥有通用大规模并行处理器，就在图像捕获点。
传感器