让自动驾驶汽车有更好的听觉

如果司机能听到警报声，为什么自动驾驶汽车不能相同？

在严重交通事故等紧急情况下，分秒必争，一条足够宽的救援车道，事关生死。如果司机可以听到警报声，为什么自动驾驶汽车不能这样做？总部位于埃及开罗的 Avelabs 开发了一种传感器解决方案，可为车辆提供听觉，以补充视觉并改进自动驾驶系统。

“在评估环境时，视觉是我们最重要的感觉，”Avelabs 产品管理总监 Amr Abdelsabour 在今年 AutoSens 布鲁塞尔的小组会议上说。 “然而，作为人类司机，我们不仅仅依赖于视觉。当我们开车时，我们也依赖于我们的听力。我们可以听到很多信息，但不能像从后面传来的警报一样看到。或者，如果我们驶入一个盲点，一辆汽车驶来，我们真的看不到它，但我们可以听到它。”

在 AutoSens 上，Avelabs 推出了 AutoHears，这是一种声学传感系统，可检测、分类和定位声音以帮助了解车辆的复杂环境。 AutoHears 包括硬件、机械外壳和运行传感功能的软件，旨在执行紧急车辆、模糊场地、自然灾害（例如滑坡）和安全事件（例如附近碰撞、枪击、爆炸）检测，以及作为车辆自诊断和语音识别。

在与 EE Times Europe 的后续讨论中 ，Abdelsabour 解释了赋予车辆听觉需要什么，软件和硬件如何相互依赖，数据融合过程在哪里以及如何执行，以及我们什么时候可以期待 AutoHears 上路？

EE Times Europe：您能描述一下 AutoHears 可以检测和不能检测到的声音类型吗？

阿姆尔·阿卜杜勒萨布尔： 我们从运行车辆的声音（例如轮胎、发动机、刹车和空气动力学声音）以及全球不同标准的喇叭和警报器开始。到目前为止，这些类已经过测试和演示。我们目前正在努力添加新类，例如自然灾害和碰撞检测，但它们仍处于功能开发阶段。功能开发路线图正在构建中。

EE Times Europe：AutoHears 从各个角度检测声音。是否有任何身体限制？

阿卜杜勒萨布尔： AutoHears 可以检测来自各个角度的声音，不仅如此，还可以检测来自墙壁和其他障碍物后面的声音。当然有物理限制。声音测量是一个相对感知过程，其中声音是相对于其环境进行感知的。这意味着，如果环境安静，AutoHears 将能够检测到微弱和微弱的声音，例如自行车甚至脚步声。但是，如果环境嘈杂，AutoHears 将只能检测到最重要的声音。因此，例如，如果附近响起响亮的警报器，我们将无法检测到其他车辆的发动机声音，因为响亮的声音会覆盖安静的声音。尽管如此，我们正在努力找出我们在客观数字中的确切物理限制，以便能够为我们的客户提供可靠的限制。

EE Times Europe：声音的分类怎么样？

阿卜杜勒萨布尔： 声音的分类是一个复杂的过程，尤其是在涉及非标准化声音时。如果我们谈论的是诸如警报器之类的标准化声音，则分类过程变得简单且相当直接，并且可以使用基于模型的算法来完成。然而，行驶车辆检测是一个更复杂的过程，因为它是由不同物理组件组成的声音的非标准组合，从而产生我们的耳朵或传感器听到的最终声音。这就是各种人工智能方法发挥作用的地方，能够通过收集的数据基于机器学习对声音进行分类，并根据他们学到的内容检测和分类声音。我们可以自豪地说，在 AutoHears 中，我们结合了基于模型的算法和机器学习来根据要检测的目标声音对声音进行分类。

EE Times Europe：音频数据如何与来自嵌入汽车的摄像头或其他传感器的图像数据融合？

阿卜杜勒萨布尔： 与人类驾驶员的情况一样，声音是视觉的补充。这就是我们如何看待 AutoHears，我们已经相应地开发了它。因为我们主要关注声学传感部分，所以我们提供原始的声学传感信息，这些信息可以与其他传感器（如摄像机和雷达）融合，以对物体进行分类和定位，从而利用每个独立传感器的优势并克服它们的弱点.因此，例如，将雷达、摄像头和 AutoHears 相结合，可以对盲点中的车辆进行以下检测：雷达可以检测障碍物并准确估计其距离（因为雷达在这方面非常可靠），摄像头会对该物体进行分类（如果有一个摄像头在观察目标车辆所在的方向），AutoHears 将使用自己对该车辆的分类和定位来确认检测，并在该车辆发出任何声音时添加信息，例如作为鸣喇叭或发出警报。所有传感器的组合使传感器融合能够以最佳方式对周围环境进行高度确定的重建。

EE Times Europe：你为什么决定建立一个完整的系统？为什么必须解决所有软件和硬件方面的问题？

阿卜杜勒萨布尔： 作为传感系统的 AutoHears 是同类检测系统中的第一个，即声学检测系统。由于 Avelabs 是一家软件公司，我们最初希望我们的主要重点只放在从软件角度感知功能上，而不是关注硬件部分。然而，没有传感硬件，就不可能有传感特性。传感硬件是传感功能的主要推动者，因为传感器不像在车辆中放置麦克风来实现检测那么简单，而是必须仔细设计硬件以实现对周围环境的准确定位。为了定位一个物体，定位算法依赖于物理因素，例如声音到达时间差，只有当硬件的设计方式能够检测到这一点时才能检测到。涉及多个硬件因素，例如麦克风的数量、它们之间的距离以及它们在车辆上的位置。所有这些硬件要求迫使我们自己设计和构建硬件，以实现我们提供的声学传感功能。简单地说，没有公司提供车辆外部声学检测硬件，这就是我们必须自己开发的原因。

EE Times Europe：您能否提供一些有关声学传感器本身的详细信息？在运行算法的 CPU 上？

阿卜杜勒萨布尔： 当涉及到传感器和处理器系统时，我们决定采用集中式架构。这一决定是顺应所有汽车公司目前正在采取的趋势，即依赖检测原始数据的传感器（摄像头、雷达等）。然后将原始数据发送到一个集中的域控制器，在那里进行传感器融合。这就是为什么我们将声学传感器构建为原始数据传感器，检测所有声学信息并将其发送到传感算法运行的集中域控制器。如您所知，我们自己设计了声学传感器，但我们使用现成的汽车域控制器，例如 Xilinx FPGA 和 TI ADAS TDA SoC 作为运行我们算法的 CPU。但是，由于每个客户都使用自己的域控制器，因此我们仅将这些处理器用作参考硬件。因为我们可以简单地部署在任何类型的域控制器上，并进行必要的自定义。

EE Times Europe：为什么说 AutoHears “依赖硬件”？

阿卜杜勒萨布尔： AutoHears 作为传感器和传感算法具有通用组件和硬件特定组件，具体取决于客户所需的功能和客户使用的处理控制器。因此，例如，如果客户只想要声音事件的方向（而不是到发出声音的物体的距离），则只需使用一个传感器。但如果客户还想检测物体的距离，则需要使用多个传感器对物体的距离进行三角测量。例如，这是一个硬件相关功能。

关于硬件依赖性的另一面是用于处理传感功能的域控制器。我们功能的性能取决于运行它们的处理器及其功能。在硬件的性能和处理要求之间存在权衡。因此，例如，如果我们希望 AutoHears 以 1 度分辨率进行检测，这将需要更多的处理资源。如果我们降低所需的性能，处理要求也会降低。此外，每个新硬件都将附带一些针对微控制器抽象层的硬件特定定制，例如 AutoHears 传感器驱动程序，这些驱动程序将实施到客户的基本软件环境中。

EE Times Europe：您在发展方面处于什么位置？您计划何时在公共道路上测试 AutoHears？您预计 AutoHears 何时投入生产？

阿卜杜勒萨布尔： AutoHears 可以在产品开发阶段考虑。我们已经从技术和财务的角度证明了这个概念，进行了演示和测试以证明可行性，目前我们正致力于将开发“产品化”。这包括公共道路验证以及获得汽车认证。这是我们从产品开发到商业化所需的两个步骤。这些是在生产就绪之前必须采取的步骤。

EE Times Europe：您是否有早期客户测试该解决方案？

阿卜杜勒萨布尔： 虽然我们于今年 9 月开始在 AutoSens 上宣布该产品，但我们已经在与客户讨论测试解决方案。由于我们正在尝试向汽车市场推出新产品，我们希望依靠我们的客户和合作伙伴了解更多市场期望和要求，并将我们的传感器集成到数据采集车队中以收集更多数据用于培训和验证目的。

相关内容：

• 成功的实时声学处理需要仔细规划
• 混合硬件和软件以获得更好的音频
• 低功耗设备可以用硅耳蜗收听
• 自适应 ANC 解决方案带来增强的音频功能

有关 Embedded 的更多信息，请订阅 Embedded 的每周电子邮件通讯。