飞行时间系统设计：系统概述
连续波（CW 飞行时间 (ToF) 相机是一种为需要高质量 3D 信息的应用程序提供高深度精度的强大解决方案，但开发人员需要考虑多种因素才能实现最佳性能水平。
这是我们飞行时间 (ToF) 系列的第一篇文章，将概述连续波 (CW) CMOS ToF 相机系统技术及其相对于机器视觉应用的传统 3D 成像解决方案的优势。后续文章将深入探讨本文介绍的一些系统级组件，包括照明子系统、光学、电源管理和深度处理。
介绍
许多机器视觉应用现在需要高分辨率 3D 深度图像来替代或增强标准 2D 成像。这些解决方案依靠 3D 摄像头提供可靠的深度信息来保证安全，尤其是当机器靠近人类操作时。摄像头还需要在具有挑战性的环境中运行时提供可靠的深度信息，例如在具有高反射表面的大空间以及存在其他移动物体的情况下。
迄今为止，许多产品都使用低分辨率测距仪类型的解决方案来提供深度信息以增强 2D 成像。但是，这种方法有很多局限性。对于受益于更高分辨率 3D 深度信息的应用，CW CMOS ToF 相机提供了市场上最高性能的解决方案。表 1 更详细地描述了高分辨率 CW ToF 传感器技术支持的一些系统功能。这些系统功能还转化为消费者用例，例如视频散景、面部验证和测量应用程序，以及汽车用例，例如作为驾驶员警觉性监控和自动驾驶室内配置。
表 1. 连续波飞行时间系统特征
系统功能 推动者 深度精度和准确度• 调制频率• 调制方案和深度处理动态范围• 读出噪声
• 原始帧率易于使用• 校准程序
• 温度补偿
• 人眼安全监测户外操作• 940 nm 灵敏度
• 照明功率和效率 2D/3D 融合• 像素尺寸
• 深度和二维红外图像多系统操作• 像素内消除干扰光
• 相机同步
连续波 CMOS 飞行时间相机概述
深度相机是一种相机，其中每个像素输出相机和场景之间的距离。一种测量深度的技术是计算光线从相机上的光源传播到反射表面并返回相机所需的时间。此行程时间通常称为飞行时间 (ToF)。
点击查看全尺寸图片
图 1. 连续波飞行时间传感器技术概述。 （来源：Analog Devices）
ToF 相机由几个元素组成（见图 1），包括：
- 在近红外域发光的光源，例如垂直腔面发射激光器 (VCSEL) 或边缘发射激光二极管。最常用的波长是 850 nm 和 940 nm。光源通常是漫射光源（泛光照明），它发出一束具有一定发散度（又名，照明场或 FOI）的光束来照亮相机前面的场景。
- 一种激光驱动器，可调节光源发出的光的强度。
- 具有像素阵列的传感器，用于收集场景的返回光并输出每个像素的值。
- 将返回光聚焦在传感器阵列上的镜头。
- 带通滤光片与透镜位于同一位置，可滤除光源波长周围窄带宽之外的光。
- 一种处理算法，可将传感器的输出原始帧转换为深度图像或点云。
可以使用多种方法来调制 ToF 相机中的光线。一种简单的方法是使用连续波调制，例如，占空比为 50% 的方波调制。实际上，激光波形很少是完美的方波，可能看起来更接近正弦波。对于给定的光功率，方形激光波形会产生更好的信噪比，但也会由于高频谐波的存在而引入深度非线性误差。
CW ToF 相机通过估计这两个信号的基波之间的相位偏移 ϕ =2πftd 来测量发射信号和返回信号之间的时间差 td。可以使用以下方法根据相位偏移 (ϕ) 和光速 (c) 估计深度：
其中 fmod 是调制频率。
传感器中的时钟发生电路控制互补像素时钟，这些时钟分别控制两个电荷存储元件（Tap A 和 Tap B）中光电荷的积累，以及到激光驱动器的激光调制信号。返回调制光的相位可以相对于像素时钟的相位进行测量（参见图 1 的右侧）。像素中 Tap A 和 Tap B 之间的差分电荷与返回调制光的强度和返回调制光相对于像素时钟的相位成正比。
利用零差检测原理，利用像素时钟和激光调制信号之间的多个相对相位进行测量。组合这些测量值以确定返回的调制光信号中基波的相位。知道这个阶段就可以计算光从光源传播到被观察物体并返回传感器像素所需的时间。
高调制频率的优点
在实践中，存在非理想情况，例如光子散粒噪声、读出电路噪声和多径干扰，可能会导致相位测量出现错误。具有高调制频率可减少这些误差对深度估计的影响。
举个简单的例子就很容易理解了，其中存在相位误差 ϵϕ——即传感器测量的相位为 ϕ =ϕ + ϵϕ。深度误差则为：
因此，深度误差与调制频率 fmod 成反比。这在图 2 中以图形方式说明。
点击查看全尺寸图片
图 2. 相位误差对距离估计的影响。 （来源：Analog Devices）
这个简单的公式在很大程度上解释了为什么高调制频率的 ToF 相机比低调制频率的 ToF 相机具有更低的深度噪声和更小的深度误差。
使用高调制频率的一个缺点是相位回绕速度更快，这意味着可以明确测量的范围更短。解决此限制的常用方法是使用以不同速率环绕的多个调制频率。最低的调制频率提供了一个大范围，没有歧义但深度误差更大（噪声、多径干扰等），而更高的调制频率被串联使用以减少深度误差。具有三种不同调制频率的这种方案的示例如图 3 所示。最终的深度估计是通过对不同调制频率的展开相位估计进行加权来计算的，较高的权重分配给较高的调制频率。
点击查看全尺寸图片
图 3. 多频相位展开。 （来源：Analog Devices）
如果每个频率的权重都经过优化选择，则深度噪声与系统中选择的调制频率的均方根 (rms) 成反比。对于恒定深度噪声预算，增加调制频率可以减少积分时间或照明功率。
其他对性能至关重要的系统方面
开发高性能 ToF 相机时需要考虑许多系统特性，此处简要介绍其中的一些。
图像传感器
图像传感器是 ToF 相机的关键组件。当系统的平均调制频率增加时，大多数深度估计非理想性（例如，偏差、深度噪声和多径伪影）的影响会降低。因此，重要的是传感器在高调制频率（数百 MHz）下具有高解调对比度（在 Tap A 和 Tap B 之间分离光电子的能力）。传感器还需要在近红外波长（例如 850 nm 和 940 nm）中具有高量子效率 (QE)，以便在像素中产生光电子所需的光功率更少。最后，低读出噪声允许检测低返回信号（远或低反射率的物体），有助于提高相机的动态范围。
照明
激光驱动器以高调制频率调制光源（例如，VCSEL）。为了在给定光功率的情况下最大化像素处的有用信号量，光波形需要具有快速上升和下降时间以及干净的边缘。照明子系统中的激光器、激光驱动器和 PCB 布局的组合对于实现这一点至关重要。还需要一些表征来找到最佳光功率和占空比设置，以最大化调制波形傅立叶变换中基波的幅度。最后，还需要通过在激光驱动器和系统级内置一些安全机制以安全的方式传输光功率，以确保始终遵守 1 类人眼安全限制。
光学
光学元件在 ToF 相机中起着关键作用。 ToF 相机具有某些独特的特性，可以满足特殊的光学要求。首先，光源的照明场应与镜头的视场相匹配，以获得最佳效率。同样重要的是，镜头本身应该具有高光圈（低 f/#）以获得更好的光收集效率。大光圈会导致围绕渐晕、浅景深和镜头设计复杂性的其他权衡。低主光线角透镜设计还有助于降低带通滤波器带宽，从而改善环境光抑制，从而提高户外性能。光学子系统还应针对所需的工作波长（例如，抗反射涂层、带通滤波器设计、透镜设计）进行优化，以最大限度地提高吞吐量效率并最大限度地减少杂散光。为了确保光学对准在最终应用所需的公差范围内，还有许多机械要求。
电源管理
电源管理在高性能 3D ToF 相机模块设计中也至关重要。激光调制和像素调制会产生高峰值电流的短脉冲，这对电源管理解决方案施加了一些限制。在传感器集成电路 (IC) 级别有一些功能可以帮助降低成像器的峰值功耗。还有一些电源管理技术可以应用于系统级，以帮助减轻对电源（例如，电池或 USB）的要求。 ToF 成像器的主要模拟电源通常需要具有良好瞬态响应和低噪声的稳压器。
点击查看全尺寸图片
图 4. 光学系统架构。 （来源：Analog Devices）
深度处理算法
最后，系统级设计的另一大部分是深度处理算法。 ToF 图像传感器输出原始像素数据，需要从中提取相位信息。此操作需要不同的步骤，包括噪声过滤和相位展开。相位解缠块的输出是对光从激光器到场景再到像素行进的距离的测量值，通常称为范围或径向距离。
径向距离通常转换为点云信息，点云信息通过其真实世界坐标（X，Y，Z）表示特定像素的信息。通常，终端应用程序仅使用 Z 图像图（深度图）而不是完整的点云。将径向距离转换为点云需要了解镜头内在特性和畸变参数。在相机模块的几何校准期间估计这些参数。深度处理算法还可以输出其他信息，例如主动亮度图像（返回激光信号的幅度）、被动 2D IR 图像和置信度，这些都可以用于终端应用。深度处理可以在相机模块本身或系统中其他地方的主机处理器中完成。
本文涵盖的不同系统级组件的概述如表 2 所示。这些主题将在以后的文章中更详细地介绍。
表 2. 3D 飞行时间相机的系统级组件
系统级组件 主要特点 ToF 成像仪分辨率高、解调对比度高、量子效率高、调制频率高、低读出噪声光源高光功率、高调制频率、
人眼安全特性光学器件高光收集效率、最小杂散光、窄带宽电源管理低噪声, 良好的瞬态响应，
高效率，提供高峰值功率深度处理低功耗，支持不同类型的输出
深度信息
结论
连续波飞行时间相机是一种强大的解决方案，可为需要高质量 3D 信息的应用提供高深度精度。要确保达到最佳性能水平，需要考虑许多因素。调制频率、解调对比度、量子效率和读出噪声等因素决定了图像传感器级别的性能。其他因素是系统级考虑因素，包括照明子系统、光学设计、电源管理和深度处理算法。所有这些系统级组件对于实现最高精度的 3D ToF 相机系统至关重要。这些系统级主题将在后续文章中更详细地介绍。有关 ADI 的 ToF 产品的更多信息，请访问analog.com/tof。
保罗·奥沙利文 是位于加利福尼亚州圣克拉拉的 ADI 公司的系统工程师。他于 2004 年加入爱尔兰的 ADI 公司，在那里担任过各种测试开发和应用工程职位，然后于 2016 年移居加利福尼亚从事消费类应用的先进技术项目。自 2019 年以来，他一直致力于 3D ToF 相机模块的开发和校准。他拥有 B.E.科克大学学位和工程硕士。来自爱尔兰利默里克大学。可以通过 [email protected] 与他联系。 
Nicolas Le Dortz 是 ADI 公司飞行时间 (ToF) 技术部门的系统工程经理。在此职位上，他负责监督 ADI 的 ToF 技术产品的开发，为参与交付 ToF 相机系统的跨职能团队架起桥梁，并为 ADI 公司的客户带来卓越的性能。他获得了硕士学位2010 年获得法国 Ecole Polytechnique 电气工程博士学位，获得硕士学位。 2012 年在瑞典 KTH 获得微电子学博士学位，并获得博士学位。 2015 年获得法国 Ecole Centrale-Supelec 电气工程博士学位，2013 年至 2014 年他是加州大学伯克利分校的访问研究员。他热衷于与客户合作，通过汇集计算机视觉等学科，围绕深度传感进行创新，信号处理、集成电路设计、软件开发和光学设计。可以通过 [email protected] 与他联系。 相关内容：
- 工具提升价值链，揭开视觉 AI 的神秘面纱
- 使用 tinyML 和自动化机器学习构建有效的物联网应用
- 飞行时间技术有望提高准确性
- 近红外飞行时间传感器可减少阳光干扰
- 激光雷达平台支持占用检测、社交距离
- ToF 传感器提供快速的 3D 检测
- 超声波飞行时间传感器提供 1 米范围
有关 Embedded 的更多信息，请订阅 Embedded 的每周电子邮件通讯。
传感器