自动驾驶汽车大脑：AI 如何驾驭现代车辆

自动驾驶汽车（AV）乃至高级驾驶辅助系统（ADAS）车辆，依赖多传感器数据——多摄像头、激光雷达、毫米波雷达、有时声纳。处理来自该传感器阵列的数据流，是巨大且关键任务。所有数据必须实时转化为信息，用于安全驾驶，至少媲美完美人类驾驶员。“路上人类驾驶员需警惕周围、与其他驾驶员互动、做决策。像人类驾驶员，AV 也应感知、互动、决策。进而，AV 应与乘客建立良好关系。”¹

这些功能依赖人工智能（AI）同化不同传感器数据并融合，瞬间成像车辆及其动态环境——称作传感器融合。汽车用最优 AI 采用深度神经网络（DNN）。模拟人脑处理信息方式，DNN 通过经验学习驾驶真实世界，而非程序员告知做什么。DNN 接受多输入、赋予不同权重、推断。需极高性能且节能计算平台实时完成。处理加速器可加速此过程。

AI 落地实践

为了解汽车 AI 高性能平台构成，我采访 CEVA 公司 Gil Abraham 了解其实现工具。

CEVA 视觉与 AI 业务单元有 Abraham 称的三大支柱：NeuPro-M（AI 处理器）；SensPro（高性能传感器中枢数字信号处理器 DSP）；CDNN-Invite 软件。CDNN-Invite 允许厂商输入自有专有 DNN 加速器与 CEVA NeuPro-M AI 处理器及 SensPro DSP 协同，享受统一系统，同一内存和流软件开发包（SDK）集中管理。

SensPro DSP 可对来自多不同传感器输入执行信号处理，含多激光雷达、毫米波雷达、摄像头并卷积融合——称作传感器融合，汇聚多传感器输入。这对汽车用途至关重要，因每个传感器有自身局限。

例如：

• 摄像头分辨率极高可感知精细细节。但通常需多个覆盖车辆盲区、后视、环视、多个不同焦距前向摄像头。每摄像头提供独立数据流。且摄像头夜间或面向阳光不可靠。

• 毫米波雷达夜间工作良好、提供测距。但分辨率不足以感知物体精确位置或区分靠近的多物体。可能漏检静止/慢速物体，也无法感知场景“语义”：物体颜色形状——需摄像头。

• 激光雷达自带光源，昼夜表现好。也提供高分辨率快速准确测量数据，精确实时自由空间检测同时跟踪场景多物体。但为获足够激光雷达数据点，车辆需装 5-6 个昂贵设备。

SensPro DSP 可接收这些输入，以及飞行时间（ToF）传感器、惯性测量单元（IMU），高效处理同步定位与建图（SLAM）算法，利用所有创建“情境感知”——汽车及其环境全貌。也可在硬件加专用指令集获取其他特定处理额外加速。

系统集成

NeuPro-M 解决自动驾驶功能多关键挑战：高速低延迟可扩展运行、低功耗、高安全、满足 ISO 26262 功能安全标准。也可扩展：如用于单传感器、区域传感器集群，甚至嵌入汽车发动机控制单元（ECU）。

高性能汽车 AI 平台架构

CEVA NeuPro-M AI 处理器功能：做高层驾驶决策。决策基于 DNN 输入提供态势信息：有无对向来车；车是否保持车道；绝对位置（SLAM）？

NeuPro-M AI 处理器是决策者，根据接收信息决定采取何种行动。AI 需海量计算做决策，须近乎实时完成。故需强大处理器。汽车应用还需最小化功耗——计算量增、时间减，功耗增。处理器性能可用一个数概述：每瓦万亿次运算（TOPS/watt）——越高性能越好。NeuPro-M 能效 24 TOPS/watt，显著高于大多数汽车 AI 处理器。

安全至上——可说安全和安保是汽车应用最重要需求。自动驾驶汽车 AI 处理器是负责驾驶员。执行 AI 处理的神经网络给每个输入赋权重，那些权重易遭恶意篡改。安全系统因此是处理器不可或缺一环，防御此类攻击。

性能优化

优化性能要认识：无论处理器多快，系统可能因带宽限制陷入瓶颈，主因系统接口限制内存数据移动。计算单元远快于存取海量数据告知内存时间。一解决办法：向处理器导向持续数据流，而非等待足够信息执行特定计算。

另一优化：自适应——用模块化自适应拓扑。处理器拓扑可针对不同传感器类型、不同操作类型优化。如优化动力总成效率需大量数学运算，或仅处理单传感器。

若需极高精度计算，可在向量处理器内用浮点算术而非定点。另一减带宽法：压缩数据，免移动所有数据。这些是软件修正，但也须深入优化 DSP 和 AI 处理器，解决各领域所有瓶颈。

并行处理

NeuPro-M (NPM) 处理器有三部分（见图 2）：主控制器；NPM 公共子系统；NPM 引擎。处理器可含 1 至 8 个引擎，按特定应用需求选择。“这就是获取更多马力的方式，”Abraham 说。

NPM 公共子系统与 NPM 引擎持续通信。监控该通道确保不成瓶颈——保证数据持续流入系统。推理 AI 运行于两数据集：数据本身（如图像）；应用于数据做推理的权重。公共子系统对数据和权重均压缩保持通道通畅。

并行处理既可用多引擎实现，也可用引擎内协处理器实现，每引擎含五协处理器和共享内部存储。

示例——四引擎 NPM 控制车辆

图 3 演示并行处理简单汽车应用。左侧显示前向摄像头捕获路面图像。车载处理器屏蔽对向车道简化计算以保持车辆居中己侧车道并存储图像内存。存储图像从车辆内存输入 NPM 公共子系统，本例服务四引擎。软件决定用例——需什么——如何分割图像以最大性能最小功耗（高利用率）达成目标功能。本例 NPM 将图像分四部分（有重叠），各部分发不同引擎。AI 推理在四路面段各自运行。四段再拼回子系统内存，输出至 SoC 其他感知层执行期望任务。

此例说明两级并行处理：一级用四引擎处理不同图像段，二级在各引擎内五内部协处理器共享计算。

软件优化

AI 主要通过卷积工作——两函数数学运算产生第三函数表达一形状如何被另一修改。数学家 Shmuel Winograd 创新卷积新法，步骤减半。CEVA 在处理器实现此理论想法，以近 2 倍加速达同等精度——性能增益伴随功耗降低。可在引擎内五协处理器各自实现。

另一技巧：根据数据类型差异化操作，视特定应用哪种最优。如同步定位与建图（SLAM）需极高精度须用浮点。其他应用定点位宽足矣。这样汽车制造商可为车内每功能选最优计算方法。

结合软件操控和硬件优化，据 Abraham 称 NeuPro-M 可获显著加速——高达 16 倍。

总结

概述特定 AI 处理器内部运作：处理雷达、激光雷达、声纳、摄像头等多传感器数据并决策。NPM 为异构处理器——可操作不同数据类型，通过两级并行处理及针对性软件设计优化 TOPS/watt。

1. Fang Chen, PhD, SAE Edge Research Report — Unsettled Issues in Vehicle Autonomy, Artificial Intelligence, and Human-Machine Interaction.

本文由传感器技术编辑 Ed Brown 撰写。更多信息联系 Ed，邮箱需启用 JavaScript 查看，或访问 here.