发现人工智能中的“盲点”以提高自动驾驶汽车的安全性

人工智能领域的最新进展使自动驾驶汽车和自主机器人变得更加智能。尽管仍处于起步阶段，无人驾驶汽车正变得越来越普遍，并可能在未来几年彻底改变我们的交通系统。

最近，麻省理工学院和微软的研究人员开发了一种模型，可以在人工输入的帮助下发现自主系统的“盲点”。它识别这些自主系统在现实世界中可能犯错时学习（从训练示例或模拟中）的实例。

例如，为自动驾驶汽车提供动力的人工智能经过广泛的模拟训练，为车辆准备好应对道路上几乎所有可能的场景。但是，系统有时会在现实世界中出错：在某些情况下，它不会改变其行为（它应该改变的地方）。

例如，如果一辆无人驾驶汽车（未经过广泛培训）在高速公路上巡航，而救护车鸣响警笛，汽车可能只会将救护车视为一辆白色的大车，而不会靠边停车或让路给救护车或其他紧急情况车辆。

研究人员希望通过整合人类输入来弥合模拟与现实世界之间的差距，并帮助自主系统更好地了解他们不知道的东西。

自治系统最初是在虚拟模拟中训练的，它将每种情况映射到最佳行动。然后将其部署在现实世界中，当系统采取不正确的操作时，人类就会中断系统。

人类可以通过更正或演示来提供数据。为了提供更正，一个人可以坐在驾驶座上，同时车辆沿着计划的路线行驶。如果系统采取了不适当的行动，人类可以控制方向盘，这会向 AI 发送一个信号，表明它采取了不正确的行动以及在特定情况下应该做什么。

参考：arXiv:1805.08966 |麻省理工学院

或者，人类可以通过在现实世界中演示/驾驶车辆来训练系统。该系统会分析每个人的行为并将其与在该条件下会做的事情进行比较。每个不匹配（是否存在）都指出了系统不可接受的行为。

一旦手动训练结束，系统本质上就会有一个可接受和不可接受的动作列表。目标是检测 AI 难以区分的模糊情况（或盲点）。

研究人员提供|麻省理工学院

例如，自主系统可能已经在大型车辆旁边巡航了几次而没有停下来。然而，如果它对一辆救护车做同样的事情（在 AI 看来完全一样），它会收到一个表示不可接受的行为的反馈信号。

为了处理这种情况，该团队使用了一种称为 Dawid-Skene 算法的机器学习方法。它将所有标记为“可接受”和“不可接受”的盲点汇总起来，并使用概率计算来检测这些标签中的模式。

然后，该算法产生一个单一的聚合盲点以及每种情况的置信水平。它还生成一个热图，显示每种情况下成为盲点的可能性从低到高。

阅读：新的自动驾驶汽车算法可以积极地改变车道

在现实世界中，如果模型以高概率将情况映射为盲点，它可以要求人类采取适当的行动，从而实现更安全的执行。这种类型的模型还可以帮助自主机器人预测何时可能会在新情况下采取不当行动。

工业技术