AI为何需要主动安全方法：资深高压电子工程师30年经验教训
作为前高压电子工程师，我为从早期CT扫描原型到粒子加速器的多种应用设计测试高压电源。高功率微波系统亦然：从模拟雷达对敏感航空电子设备影响到加工麦片。30余载，我处理数十千伏直流电压与数十千瓦微波功率。
Ed的博客
资深电气工程师Ed Brown在SAE Media Group担任技术编辑，开启第二职业生涯。
“回顾工程生涯、以编辑身份见证最新前沿，我有许多结合工程经验的思考，想现在分享一些。”
所有设计必须尽可能留足安全裕度、以故障安全为目标。意味着预先思考系统可能失效的方式，设计将失效导致伤害或损坏的概率最小化。例如用电子“熔断器”在传感器信号负载电流骤增时微秒级安全短路输出。但那是主动系统，断电时失效。所以用备用机械熔断器，由电磁铁悬持作故障安全保护。输入线路断电时，金属杆落下跨接输出。这很重要，因为即使无电源，电容组仍可能储存危险能量——我曾亲身恐怖发现：自以为安全关闭的电源给我电击。
带着这种心态思考人工智能（AI）。我不担心AI取代人类智能把我们变成机器人。但我担心过度依赖它，特别是至少两个领域：高级驾驶辅助系统（ADAS）与自动驾驶汽车的安全应用、疾病诊断。
读到AI“内在局限性”引我注意。剑桥大学与奥斯陆大学研究者断言：处理AI的神经网络在特定条件下不稳定，且单纯增加训练数据无法修复不确定性。研究者称需更多理论工作深入理解AI计算数学。为获更可靠结果，必须理解特定误差源并改进AI方法修复。
加州大学伯克利分校与德州大学奥斯汀分校研究者发现问题：复现医学影像研究有望结果失败。“数月工作后意识到论文用的图像数据经预处理。”首席研究员Michael Lustig说，他是UC伯克利电气工程与计算机科学教授。
那是麻烦根源。“想提醒研究者更谨慎、发布更现实结果。”Lustig说。
他们发现不准源于用有偏公共数据库训练系统。研究者创造“隐性数据犯罪”术语，描述因错误方法论开发算法导致的研究结果。
在与SAE数字编辑经理Billy Hurley问答中，慕尼黑工业大学（TUM）Eckehard Steinbach教授描述AI模型“可能无法识别或尚未发现”的潜在关键汽车场景。例如，反复刹车模式在暖天气可能是常规驾驶，但在路面结冰湿滑时可能预示即将脱离。此类模式难识别。
但好消息是，Steinbach团队开发能从自身过往错误内省学习的安全技术。“汽车进入未受训场景会出问题。”Steinbach说。“此类新场景导致人工干预，进而成为我们方法的训练数据。虽然后续遇到能帮助检测此类新挑战环境，但首次遇到全新场景时准确检测并正确处理仍是挑战。”
我的结论：AI能加速改进医学诊断，也能让车辆更安全。但必须严谨对待方法。
设计AI系统时必须像高压工程师思考：预先思考系统可能失效的方式，以最小化发生概率为目标设计。若失效发生，致力降低伤害损坏几率。
您同意吗？下方分享问题与评论。
阅读Ed博客更多：从外而内设计 vs 从内而外设计
传感器