堆叠式传感器架构带来先进的视觉功能

巴黎 — Prophesee 是一家位于巴黎的初创公司，开创了神经形态视觉系统，本周在旧金山举行的国际固态电路会议 (ISSCC) 上展示了一种与索尼公司联合开发的基于堆叠事件的新型视觉传感器。

这款新型传感器采用 Prophesee 的事件驱动技术设计，基于索尼为高级堆叠式 CMOS 图像传感器设计的技术。

像素芯片（左​​）和逻辑芯片（来源：Prophesee）

Prophesee 声称，对于事件驱动系统，新传感器提供了业界最小的像素尺寸和业界最高的高动态范围 (HDR) 性能。受大脑启发的传感器将使工业机器、机器人和自动驾驶汽车能够更好地观察和感知环境。

此次合作可能预示着一个新时代的到来，其中人工智能——包括人工智能传感和人工智能处理——可以在非常靠近传感器的地方发生，如果还没有发生在传感器本身上，在那里生成数据。

这对两家公司有什么好处？

索尼是全球领先的 CMOS 图像传感器公司。其合作伙伴关系为 Prophesee 的新传感技术提供了商业信誉。 Prophesee 的首席执行官 Luca Verre 希望此举将为 Prophesee 的基于事件的相机打开通往大众市场机会的大门。

“鉴于我们使用大量晶体管、电子设备和光电二极管的技术的性质，与索尼合作始终是我们的首选，”Verre 告诉 EE Times .两家公司于 2017 年开始合作。Verre 承诺将在 2020 年提供第一个基于堆叠事件的视觉传感器的样品。

与 Prophesee 的合作可能会改变索尼的游戏规则，让这家日本巨头有机会探索事件驱动的视觉技术。

潘多拉魔盒

Yole Développement 的首席分析师 Pierre Cambou 将 Prophesee-Sony 的合作视为“打开潘多拉魔盒”。

皮埃尔·坎布

在 Prophesee 开发的神经形态相机中，“本质上，每个像素都是一个神经元，”Cambou 指出。 Cambou 称芯片堆叠开发“仍处于早期阶段”，他预测，在未来，神经元、内存和处理可以全部堆叠在一起。当前，人们热衷于为“边缘”或“端点”带来更多智能，这预示着未来有一天，人工智能将在传感器内部被感知和处理。

Cambou 解释说，索尼将能够开发一种集成 AI 的图像传感器，“可以实时增强图像”，或者创建一种“直接提供基于事件的传感”的图像传感器。

事实上，有人已经将神经网络应用于“火车抵达 La Ciotat”—— Lumiere Brothers 于 1896 年拍摄的一部著名的早期电影——填补缺失的像素。这项努力使这部拥有 124 年历史的电影能够以每秒 60 帧的速度恢复和升级为 4K 视频。 Cambou 将此类升级视频描述为在互联网上风靡一时，他解释说 AI 的力量已在成像领域得到充分证明。

人工智能的仿生方法是冯诺依曼计算的替代方法。 Cambou 说：“随着 AI 的普及，它的重要性会越来越高。”

最初由 Lumiere Brothers 于 1896 年拍摄的“到达 La Cicotat 的火车”被放大到 4K，每秒 60 帧，由丹尼斯·希里亚耶夫

用于堆叠式基于事件的视觉传感器的构建块

在新设计的事件驱动传感器中，像素芯片（顶部）和逻辑芯片（底部）堆叠在一起。该逻辑包含信号处理电路，旨在基于异步增量调制方法检测亮度变化。

两个独立芯片的每个像素都使用堆叠配置中的铜铜连接进行电连接。

这使得新传感器能够实现业界最小的 (4.86μm) 像素尺寸。它还通过精细的 40nm 逻辑工艺实现高密度集成，提供 1/2 类型、1280×720 高清分辨率。

新型事件驱动传感器的另一个特点是它能够提供 Prophesee 声称的业界最高 HDR 性能：124 dB（或更高）。该团队通过在像素芯片（顶部）上仅放置背照式像素和一部分 N 型 MOS 晶体管来实现这一点。据 Prophesee 称，这将孔径比提高了 77%。索尼多年来为 CMOS 图像传感器开发的高灵敏度/低噪声技术使在低光条件 (40mlx) 下的事件检测成为可能。

分工？

Prophesee 首席执行官 Verre 指出，索尼在合作中的角色不仅限于代工厂。 Verre 说，凭借扎实的知识和自己在基于事件的技术方面的 IP 组合，“我们对如何设计像素有了清晰的想法。”两家公司的合作使新的事件驱动传感器设计（从模拟、逻辑和电源）与索尼先进的制造工艺相结合成为可能。

Verre 指出，这种关系也不是纯粹的研发活动。目的是保持长期合作伙伴关系，在开发应用程序的同时将该技术推向商业市场。

这对索尼意味着什么？

世界上有许多 CMOS 成像传感器的参与者。 Cambou 观察到，索尼将 CMOS 图像传感器“不再只是成像，而是真正的传感”这一预测铭记于心——这是 Cambou 长期以来一直在宣扬的福音。

还记得索尼 2015 年收购比利时 3D 传感计算机视觉技术开发商 SoftKinetic 吗？ Cambou 表示，收购使索尼能够在不断增长的飞行时间 (ToF) 传感器市场中占有一席之地，Android 智能手机供应商去年突然开始要求这些传感器。 Cambou 说，想象一下如果索尼当时没有涉足深度感应技术，它会发生什么。

在他看来，与 Prophesee 的合作也不例外。当汽车和工业机器视觉市场的参与者开始寻找更丰富的传感数据来增强他们的运营时，他们更有可能添加一种新的传感技术，而不是再投入另一个相同的相机。

简而言之，Prophesee 可以成为索尼进入事件驱动图像传感器市场的公司，就像 SoftKinetic 使索尼开发“深度感知”解决方案并将其推向智能手机一样。

现在，凭借其 DepthSense 技术，索尼正在将 ToF 图像传感器安装到许多 Android 智能手机中。这增加了索尼已经在智能手机的前置和后置摄像头中积累的 CMOS 图像传感器设计优势。