成功的实时声学处理需要仔细规划

低延迟、实时声学处理是许多嵌入式处理应用的关键因素，其中包括语音预处理、语音识别和主动降噪 (ANC)。随着这些应用程序领域的实时性能需求稳步增加，开发人员需要采用战略思维来适当地满足这些需求。鉴于许多较大的芯片系统提供了可观的性能，可能很想简单地将出现的任何其他任务加载到这些设备上，但重要的是要了解延迟和确定性是很容易导致主要实时系统的关键因素如果不仔细考虑问题。本文将探讨设计人员在选择 SoC 和专用音频 DSP 时应考虑的问题，以避免在实时声学系统中出现令人不快的意外。

低延迟声学系统涵盖了广泛的应用。例如，仅在汽车领域，低延迟对于个人音频区、道路噪音消除和车载通信系统等至关重要。

随着汽车电气化的兴起，ANC 变得更加重要，因为没有内燃机产生明显的噪音。因此，与车对路界面相关的声音变得更加引人注目和令人反感。降低这种噪音不仅可以创造更舒适的乘坐体验，还可以减少驾驶员的疲劳。与在专用音频 DSP 上相比，在 SoC 上实施低延迟声学系统存在许多挑战。其中包括延迟、可扩展性、可升级性、算法注意事项、硬件加速和客户支持等问题。让我们依次检查每一个。

延迟

实时声学处理系统中的延迟问题是一个重要问题。如果处理器跟不上系统的实时数据移动和计算需求，就会导致不可接受的音频丢失。

通常，SoC 具有较小的片上 SRAM，因此，大多数本地存储器访问必须依赖缓存。这引入了代码和数据的不确定可用性，并且还会增加处理延迟。对于 ANC 等实时应用程序，仅此一项就可能成为交易破坏者。然而，还有一个事实，即 SoC 运行非实时操作系统来管理繁重的多任务负载。这放大了系统的非确定性操作特性，使得在多任务环境中支持相对复杂的声学处理变得非常困难。

图 1 显示了一个运行实时音频处理负载的 SoC 的具体示例，其中 CPU 负载随着更高优先级的 SoC 任务得到服务而激增。例如，由于以 SoC 为中心的活动（例如系统上的媒体渲染、浏览或应用程序执行），可能会出现这些峰值。每当峰值超过 100% CPU 负载时​​，SoC 不再实时运行，这将导致音频丢失。

点击查看全尺寸图片

图 1：除了其他任务 [1] 之外，运行高音频内存处理的代表性 SoC 的瞬时 CPU 负载。 （来源：Analog Devices）

另一方面，音频 DSP 的架构旨在在整个信号处理路径中实现低延迟，从采样音频输入到复合（例如，音频 + 抗噪声）扬声器输出。 L1 指令和数据 SRAM 是最靠近处理器内核的单周期存储器，足以支持多种处理算法，而无需将中间数据卸载到片外存储器。此外，当超过 L1 SRAM 存储量时，片上 L2 存储器（离内核更远，但访问速度仍然比片外 DRAM 快得多）有助于为中间数据操作提供缓冲区。最后，音频 DSP 通常运行实时操作系统 (RTOS)，以确保可以在新输入数据到达之前处理传入数据并将其发送到目标目的地，从而确保数据缓冲区在实时操作期间不会溢出。

系统启动的实际延迟——通常通过音频可用性时间来衡量——也可以是一个重要的指标，尤其是在汽车系统中，必须在启动后的特定窗口内广播声音警告。在 SoC 世界中，通常有一个冗长的启动序列，涉及为整个设备启动操作系统，满足这种启动要求可能很困难或不可能。另一方面，运行自己的 RTOS 且不受其他无关系统优先级影响的独立音频 DSP 可以针对快速启动进行优化，从而轻松满足音频时间要求。

可扩展性

虽然延迟问题对于 SoC 在噪声控制等应用中是有问题的，但对于希望执行声学处理的 SoC 来说，另一个主要缺点是可扩展性。换句话说，控制具有许多不同子系统的大型系统（例如汽车前端单元和集群）的 SoC 无法轻松地从低端音频需求扩展到高端音频需求，因为每个子系统组件的可扩展性需求之间始终存在冲突，需要整体 SoC 利用率的权衡。例如，如果前端 SoC 连接到远程调谐器，并且跨汽车模型，该调谐器需要从几个通道扩展到多个通道，每个通道配置都会放大前面提到的实时问题。这是因为 SoC 控制下的每个附加功能都会改变 SoC 的实时行为以及多个功能使用的关键架构组件的资源可用性。这些资源包括内存带宽、处理器内核周期和系统总线结构仲裁槽等方面。

除了担心其他子系统连接到多任务 SoC 之外，声学子系统本身也有其自身的可扩展性问题。有低端到高端的缩放（例如，增加 ANC 应用程序中麦克风和扬声器通道的数量），还有音频体验缩放，从基本音频解码和立体声播放到 3D 虚拟化和其他高级功能。尽管这些要求不具有 ANC 系统的实时约束，但它们仍然与系统的音频处理器选择直接相关。

使用单独的音频 DSP 作为 SoC 的协处理器有助于解决音频可扩展性问题，实现模块化系统设计，并优化成本（见图 2）。 SoC 可以更少关注大型系统的实时声学处理需求，而是将处理卸载到低延迟音频 DSP。此外，在全面的代码兼容和引脚兼容路线图中提供多种不同价格/性能/内存级别的音频 DSP 为系统设计人员提供了最大的灵活性，以便为给定的产品层调整音频性能。

点击查看全尺寸图片

图 2：高度可扩展的音频处理器的说明。利用单独的音频处理器，例如此处所示的 ADSP-2156x DSP，有助于解决音频可扩展性问题，实现模块化系统设计，并优化成本..（来源：Analog Devices）

可升级性

随着无线固件更新在当今车辆中变得越来越普遍，发布关键补丁或提供新功能的可升级性变得越来越重要。由于其各种子系统之间的依赖性增加，这可能会导致 SoC 出现重大问题。首先，在 SoC 上，多个处理和数据移动线程正在争夺资源。当添加新功能时，这会增加对处理器 MIPS 和内存的竞争，尤其是在高峰活动爆发期间。从音频的角度来看，其他 SoC 控制域中的功能添加会对实时声学性能产生不可预测的影响。这种情况的一个副作用是新功能必须在所有操作平面上进行交叉测试，导致竞争子系统的各种操作模式之间出现无数排列。因此，每个升级包的软件验证呈指数级增长。

换个角度看，除了SoC控制的其他子系统的功能路线图外，SoC音频性能的提升还取决于可用的SoC MIPS。

算法开发和性能

很明显，在开发实时声学算法时，音频 DSP 是专门为该任务构建的。作为与 SoC 的显着区别，独立音频 DSP 可以提供图形开发环境，允许具有最少 DSP 编码经验的工程师将高质量的声学处理添加到他们的设计中。这种类型的工具可以在不牺牲质量或性能的情况下通过缩短开发时间来降低开发成本。

例如，ADI 的 SigmaStudio 图形音频开发环境提供了多种集成到直观图形用户界面 (GUI) 中的信号处理算法，允许创建复杂的音频信号流（见图 3）。它还支持用于音频传输的图形化 A2B 配置，极大地促进了实时声学系统的开发。

点击查看全尺寸图片

图 3：像 Analog Devices 的 SigmaStudio 这样的图形音频开发环境提供了对集成到直观图形用户界面 (GUI) 中的各种信号处理算法的访问，从而简化了复杂音频信号流的创建。 （来源：Analog Devices）

音频友好的硬件功能

除了专为高效并行浮点计算和数据访问而设计的处理器内核架构之外，音频 DSP 通常具有专用的多通道加速器，用于常见的音频原语，例如快速傅立叶变换 (FFT)、有限和无限脉冲响应（FIR 和 IIR ) 滤波和异步采样率转换 (ASRC)。这些允许在核心 CPU 之外进行实时音频过滤、采样和频域转换，从而提高有效的核心性能。此外，由于其优化的架构和数据流管理功能，它们可以促进灵活且用户友好的编程模型。

由于音频通道数、过滤流、采样率等的激增，拥有最大可配置的引脚接口非常重要，该接口允许在线采样率转换、精确时钟和同步高速串行端口以有效地路由数据并避免增加延迟或外部接口逻辑。 ADI 公司的 SHARC 系列处理器的数字音频互连 (DAI) 说明了这种能力，如图 4 所示。

点击查看全尺寸图片

图 4：数字音频互连 (DAI) 是一种最大可配置的引脚接口，允许在线采样率转换、精确时钟和同步高速串行端口有效地路由数据并避免增加的延迟或外部接口逻辑。 （来源：Analog Devices）

客户支持

使用嵌入式处理器进行开发时经常被忽视的一个方面是设备的客户支持。

尽管 SoC 供应商提倡在其集成 DSP 产品上运行声学算法，但这在实践中会带来一些负担。一方面，供应商支持通常更复杂，因为声学专业知识通常不是 SoC 应用程序开发的领域。因此，对于寻求在 SoC 的片上 DSP 技术上开发自己的声学算法的客户来说，往往缺乏支持。相反，供应商可能会提供标准算法并收取大量 NRE 以将声学算法移植到 SoC 的一个或多个内核。即便如此，也不能保证成功，特别是如果供应商不提供成熟的、低延迟的框架软件。最后，基于 SoC 的声学处理的第三方生态系统往往相当脆弱，因为它不是 SoC 的重点，而是机会主义支持的功能。

专用音频 DSP 带有一个更强大的生态系统，用于开发复杂的声学系统，从优化的算法库和设备驱动程序到实时操作系统和易于使用的开发工具。专注于音频的参考平台（如 ADI 的 SHARC 音频模块平台，如图 5 所示）对于 SoC 来说是罕见的，但在独立音频 DSP 领域却很常见。

图 5：DSP 通常提供专注于音频的开发平台，如此处所示的 SHARC 音频模块 (SAM)..（来源：Analog Devices）

设计实时声学系统涉及系统资源的深思熟虑的战略规划，不能简单地通过在多任务 SoC 上分配剩余的处理空间来管理。相反，针对低延迟处理进行了优化的独立音频 DSP 可能会提高稳健性、缩短开发时间以及优化可扩展性，以适应未来的系统需求和性能层。

参考

[1] 保罗·贝克曼。 “多核 SOC 处理器：性能、分析和优化。” 2017 AES 汽车音响国际会议，2017 年 8 月。

相关内容：

• 混合硬件和软件以获得更好的音频
• 音频边缘处理器如何在物联网设备中实现语音集成
• AI 在音频链中找到自己的声音
• 自适应 ANC 解决方案带来增强的音频功能
• 低功耗、永远在线的语音命令系统的设计注意事项

有关 Embedded 的更多信息，请订阅 Embedded 的每周电子邮件通讯。