自动驾驶汽车从故障中学习的警告系统

一种新的自动驾驶汽车模型通过提前发现过去的故障（有时长达 7 秒）来从过去的故障中吸取教训。

对于自动驾驶汽车，未知或复杂的驾驶情况（如拥挤的十字路口）可能会通过自动安全措施或人工干预导致自动驾驶系统脱离。

来自慕尼黑工业大学 (TUM) 的人工智能模型使用了数千个现实生活中的交通情况——特别是记录的试驾脱离序列——作为预测未来故障的训练数据。

为了尽早预测故障，机器学习方法将传感器数据序列分类为失败或成功。

例如，如果系统发现了控制系统以前无法处理的新驾驶情况，则会提前警告驾驶员可能出现的危急情况。

TUM 开发的安全技术使用传感器和摄像头来捕捉周围环境，例如方向盘角度、路况、天气、能见度和速度。人工智能系统基于循环神经网络 (RNN) 和数以千计的真实交通情况，通过数据学习识别模式。

汽车本身被视为一个黑匣子，只专注于数据输入和数据输出。根据慕尼黑团队的说法，该系统会从自己之前的错误中进行内省学习。

“我们技术的一大优势：我们完全忽略了汽车的想法。相反，我们将自己限制在基于实际发生的情况的数据中并寻找模式，”首席研究员 Eckehard Steinbach 教授说 ，他也是慕尼黑机器人与机器智能学院 (MSRM) 的董事会成员 在 TUM，。 “通过这种方式，A.I.发现模型可能无法识别或尚未发现的潜在危急情况。”

Steinbach 说，该系统提供了一种安全功能，可以知道汽车何时何地存在弱点。

Steinbach 和他的团队的方法结合了两种传感器。基于图像的模型学习检测一般具有挑战性的情况，例如繁忙的城市街道。一个额外的基于数据的模型可在故障前立即检测到快速变化，例如突然制动或转弯。通过平均单个失败概率来融合单个模型的结果。

宝马集团通过在公共道路上进行 14 小时的自动驾驶评估了“内省式故障预测方法”，分析了大约 2500 种驾驶员必须干预的情况。

根据 2020 年 12 月发布的一项研究 ，后期融合方法可以以超过 85% 的准确率预测故障 - 在故障发生前最多 7 秒，误报率为 20%。

在接受技术简介的简短采访中 下面，Steinbach 谈到了黑盒方法的优势，以及当今车辆安全措施的局限性。

技术简介 ：我认为这是一个有趣的想法：“我们完全忽略了汽车的想法。相反，我们将自己局限于基于实际发生的数据并寻找模式。”模型可能无法识别的模式示例有哪些？

教授。埃克哈德·斯坦巴赫 ：在我们的工作中，我们查看汽车的状态，例如制动和转向，以及汽车获得的摄像头图像，以检测导致脱离的模式。虽然这使我们的模型能够检测到大部分必须由人类接管的情况，但并非所有有关驾驶场景的信息都包含在此数据中。

举个简单的例子，重复制动的模式可能是在温暖的天气里经常驾驶，但如果道路结冰和湿滑，则可能表明即将脱离接触。如果摄像头图像未捕获有关环境的这些信息，则该模式不能用于区分正常驾驶和中断驾驶。虽然摄像头信息通常足以评估道路状况，但此类模式仍然难以识别。

关于自动驾驶汽车的更多信息

观看 Tech Briefs TV：密歇根州正在为联网和自动驾驶汽车开发首创的走廊。

在博客上：专家调查探讨了以下问题：自治系统将如何影响自然？

技术简介 ：为什么“忽略汽车的想法”是一种优势？

教授。埃克哈德·斯坦巴赫 ：如果汽车完全正确地评估情况，则无需驾驶员干预。然而，过度自信是许多自动驾驶模型面临的重大挑战。通过记录和学习这些情况，我们可以学会检测新情况是否存在问题，即使汽车对此过于自信。

此外，通过观察有关汽车状态和周围环境的模式序列，我们的模型可以有效地推断未来，以预测最多提前 7 秒的脱离接触。提前这么早，汽车对场景的评估可能仍然是完全正确的，这意味着它不能用于预测具有挑战性的场景。另一方面，收集到的原始数据可能已经包含以前导致失败的模式，因此可以提前预测脱离接触。

技术简介 ：系统如何能够提前七秒确定“关键”场景？此外，当检测发生时，接下来会发生什么？司机在车里看到了什么，车做了什么？

教授。埃克哈德·斯坦巴赫 ：关键是观察数据序列并寻找时间模式。通过考虑过去三秒的记录数据，我们的模型能够检测到最终演变为人类驾驶员必须接管控制的场景的模式。如果您知道要寻找什么，您可以提前数秒发现具有挑战性的情况的初步迹象。

我们的方法在大约 85% 的时间里提前 7 秒实现了这一点。剩下的 15% 的情况可以解释为在很短的时间内出现了一些具有挑战性的场景，例如行人突然从停放的汽车之间出现并接近道路。当检测发生时，需要提醒司机。

技术简介 ：如何提醒司机？

教授。埃克哈德·斯坦巴赫 ：此警报的实施取决于人机界面的具体选择，但驾驶员需要知道在接下来的七秒内将需要他们对汽车的控制。这一次还允许汽车计划安全的停车操作，以防人类驾驶员对提示没有反应。

技术简介 :你的试驾怎么样？你看到的最令人印象深刻的检测是什么？

教授。埃克哈德·斯坦巴赫 ：由于试驾是由宝马集团进行的，我没有在车内参与。我们小组后来处理了驱动器的记录。检测系统中最令人印象深刻的元素是预测通常发生多早。在检测到的时候，驾驶场景仍然可以看起来很规律，例如，只是下一个路口的交通变成了复杂、拥挤的环境，几秒钟后有人接管以确保安全。

技术简介 ：自动驾驶汽车在检测方面仍有哪些挑战？

教授。埃克哈德·斯坦巴赫 ：自动驾驶的一个重要挑战是新的或分布外的数据。如果汽车进入一个它没有接受过训练的情况，或者看到一个它不知道的物体，就会出现问题。这种新颖的场景会引起人为干预，从而导致这些场景被用作我们方法的训练数据。虽然我们的方法可以在下次遇到这种新的具有挑战性的环境时帮助检测它，但在第一次遇到全新的场景时检测和正确管理它仍然是一项具有挑战性的任务。

你怎么看？在下方分享您的问题和意见。