慕工大 AI 系统提前 7 秒预测自动驾驶故障

一种新的自动驾驶汽车模型通过提前发现过去的故障来学习，最早可提前 7 秒预测。

自动驾驶车辆面对未知或复杂驾驶情况（如拥挤路口），可能触发自动安全措施或人工干预，导致自动驾驶系统脱离。

慕尼黑工业大学（TUM）的人工智能模型利用数千真实交通情况——具体为测试驾驶记录的脱离序列——作为训练数据预测未来故障。

为尽早预测故障，机器学习方法将传感器数据序列分类为故障或成功。

若系统发现控制系统此前无法处理的新驾驶情况，会提前警告驾驶员可能出现临界状况。

TUM 开发的安全技术利用传感器和摄像头捕捉周围状况，如方向盘角度、路况、天气、能见度、速度。基于循环神经网络（RNN）和数千真实交通情况的 AI 系统学习识别数据模式。

汽车本身被视为黑箱，仅关注数据输入输出。据慕尼黑团队称，系统从自身过往错误中内省学习。

“我们技术的巨大优势：完全忽略汽车怎么想。而是局限于基于实际发生的数据寻找模式。”首席研究员 Prof. Eckehard Steinbach 说，他也是慕尼黑机器人与机器智能学院（MSRM） 董事会成员。“这样，AI 能发现模型可能无法识别、或尚未发现的潜在临界情况。”

系统提供知道汽车何时、何地有弱点的安全功能，Steinbach 说。

Steinbach 团队方法结合两类传感器。基于图像的模型学习检测普遍挑战性情况，如繁忙城市街道。额外基于数据的模型检测故障前的快速变化，如急刹车或急转向。两个模型的结果通过平均故障概率融合。

宝马集团在公共道路上进行 14 小时自动驾驶评估该“内省故障预测法”，分析约 2500 起驾驶员干预情况。

据 2020 年 12 月发布的研究 ，后期融合法可提前 7 秒以 85% 以上准确率预测故障，误报率 20%。

在下文简短采访中，Steinbach 谈论黑箱法优势及当今车辆安全措施局限。

Tech Briefs： 我认为这个想法很有趣：“我们完全忽略汽车怎么想。而是局限于基于实际发生的数据寻找模式。”模型可能无法识别哪些模式示例？

Prof. Eckehard Steinbach： 我们研究汽车状态如刹车转向，以及摄像头图像以检测导致脱离的模式。虽能检测大部分需人工接管情况，但并非所有驾驶场景信息都被此数据捕获。

简单例：反复刹车模式在温暖天气可能是正常驾驶，但若路面结冰湿滑可能预示即将脱离。若摄像头图像未捕获环境信息，该模式无法区分正常与异常驾驶。虽摄像头信息通常足评估路况，但此类模式仍难识别。

Tech Briefs： 为何“忽略汽车怎么想”是优势？

Prof. Eckehard Steinbach： 若汽车完全正确评估情况，驾驶员无需干预。但过度自信是自动驾驶许多模型的重大挑战。记录并从那些情况学习，我们能学会检测新情况是否成问题，即使汽车对它过度自信。

此外，观察汽车状态和环境的模式序列允许模型有效外推未来，提前 7 秒预测脱离。这么早时，汽车对场景评估可能仍完全正确，故不能用于预测挑战场景。而原始收集数据可能已包含以前导致故障的模式，从而允许提前预测脱离。

Tech Briefs： 系统如何提前 7 秒判定“临界”场景？检测发生后怎样？驾驶员在车内看到什么，汽车做什么？

Prof. Eckehard Steinbach： 关键是观察数据序列寻找时间模式。考虑过去 3 秒记录数据，模型能检测最终演变为需人工接管场景的模式。若知道找什么，可提前数秒发现挑战性情况初兆。

我方方法约 85% 情况下提前 7 秒达成。剩 15% 因某些挑战场景极快发展，如行人突然从停放车间冲出靠近道路。检测发生时需警示驾驶员。

Tech Briefs： 如何警示驾驶员？

Prof. Eckehard Steinbach： 警示实现取决于人机界面具体选择，但驾驶员需知晓未来 7 秒内将需要控制车辆。此时间也允许汽车规划安全停车动作，以防驾驶员不响应提示。

Tech Briefs： 测试驾驶如何？最令人印象深刻的检测是什么？

Prof. Eckehard Steinbach： 测试由宝马集团执行，我未在车内参与。我组稍后处理驾驶记录。检测系统最令人印象深刻的是预测常发生得很早。检测时驾驶场景仍显常规，例如仅几秒后下一路口交通变成复杂拥挤环境，人工接管确保安全。

Tech Briefs： 自动驾驶汽车仍难检测什么？

Prof. Eckehard Steinbach： 自动驾驶一个重要挑战是新颖或分布外数据。若汽车进入未训练情况或见未知物体，会出问题。此类新场景导致人工干预，进而成为我方方法训练数据。虽我方法次次遇到时帮助检测此类新挑战环境，但首次遇到全新场景时正确检测并管理仍是挑战。

你怎么看？在下方分享你的问题和评论。