AI盲点检测模型助力自动驾驶安全:人类反馈弥补仿真与现实差距
自动驾驶的隐患:仿真训练无法覆盖所有真实场景
自动驾驶汽车在仿真环境中大量训练,却常在现实中犯错:例如未识别救护车鸣笛而未让行。MIT与微软研究人员开发新模型,引入人类反馈,检测AI在仿真中学到的、会导致现实危险错误的“盲点”。
人类反馈如何融入训练?
系统先在仿真中训练,将情境映射为最佳动作;随后部署现实,人类在系统错误干预时接管。反馈两种方式:纠正(安全员接管方向盘,发出错误信号)与演示(人类驾驶,系统对比自身决策与人类动作的差异)。每个不匹配都标记为系统不可接受的行为。
用Dawid-Skene算法聚类盲点
训练结束后,系统拥有可接受/不可接受动作列表。团队引入Dawid-Skene算法,聚合所有标记为“可接受”与“不可接受”的盲点,通过概率计算识别模式,输出每个情境的聚合盲点及置信度,并生成热力图显示各情境成为盲点的概率。实际部署时,若模型判定某情境为高概率盲点,可请求人类介入,实现更安全执行。
参考文献:arXiv:1805.08966 | MIT
工业技术