NVIDIA 使用 AI 帮助摄像头看清
- 研究人员开发了一种深度神经网络，用于评估摄像头清晰可见的能力。
- 自动驾驶汽车可以使用该网络做出更好的决策。
数十家公司正在研究自动驾驶汽车技术，它们都以不同的方式应对工程挑战。为了模仿人类的视觉能力，技术主要依靠三个基本要素：雷达、摄像头和激光雷达。
但是，雨、雪和其他类型的障碍物等多种因素会降低相机的视野。这阻碍了强大的感知系统感知周围环境和验证来自传感器的数据的能力。
为了在传感器数据到达下游模块之前，尽快有效地检测出传感器数据在处理管道中的无效性，NVIDIA 的研究人员开发了一种 AI 模型，用于评估相机的清晰视野。
该模型使用名为 ClearSightNet 的深度神经网络来发现阻塞、遮挡和可见性降低的根本原因。它有潜力
- 导致摄像头能见度降低的各种可能原因的原因。
- 提供可操作的数据。
- 以低计算开销运行各种相机
它是如何工作的？
网络将相机图片分成两个不同的部分；其中之一与遮挡有关，而另一个与可见度降低相关。
来源：NVIDIA | YouTube
遮挡表示被不透明物体（如雪、泥或灰尘）阻挡或不包含数据（例如，由于阳光导致的饱和像素）的相机视野的特定部分。在这些部分，知觉完全受损。
能见度降低表示由于雾、眩光或大雨而部分遮挡的部分。在这种情况下，算法做出的决定应该标记为“较低的置信度”。
左侧显示输入图像，而右侧显示覆盖有神经网络输出掩码的图像。近 84% 的图像像素受到部分和完全遮挡的影响。
为了显示这些部分，ClearSightNet 实时在输入视频/图像上放置了一个掩码。可见度降低的区域用绿色标记，完全遮挡的区域用红色标记。网络还会显示输入视频的多少区域受到可见度降低或遮挡的影响。
该数据可以以多种方式使用。例如，自动驾驶汽车可以选择在能见度低时不应用任何自动功能，并提醒驾驶员清洁挡风玻璃或相机镜头。车辆可以通过该网络了解摄像头感知。
该团队计划进一步改进 ClearSightNet，以提供端到端的计算和有关摄像头可见性的更详细信息，从而更好地控制自动驾驶汽车的实施过程。
阅读：Nvidia AI 可以将 30fps 的视频转换为 240fps
就性能而言 [目前的 ClearSightNet]，该网络在 Xavier 上以每帧 1.3 毫秒（集成 GPU）和 0.7 毫秒（离散 GPU）的速度运行。它已在 NVIDIA DRIVE 9.0 中可用。
工业技术