低功耗设备可以用硅耳蜗收听

随着我们朝着更无处不在、永远在线的传感和计算迈进，电源变得越来越重要。也许没有比我们办公桌上、口袋里和家中分布的声控设备更能说明这一点的例子了。正如我们去年看到的，特别是关键字发现目前是各种神经形态技术的目标。

硅耳蜗

2020 年 Misha Mahowald 神经形态工程奖的获得者是 Shih-Chii Liu 教授和她的团队，他们一直致力于研究用于检测语音的低延迟、低功耗传感器。 Shih-Chii Liu 和她在神经信息学研究所 (INI) 的团队一直在开发的动态音频传感器最终可以解决这个市场。它们的核心是一个旨在模仿生物学的硅耳蜗。首先，使用一组模拟带​​通滤波器将传入的声音过滤到频道中，其输出经过半波整流。总之，这模拟了耳朵中毛细胞的功能。

在传统的音频系统中，声音首先使用模数转换器进行转换，然后使用数字快速傅里叶变换 (FFT) 和带通滤波 (BPF) 提取特征。这些由运行语音活动检测 (VAD) 或自动语音识别算法的数字信号处理器 (DSP) 处理。 B. 在 INI-Zurich 动态音频传感器中，信号作为来自具有特征的模拟音频带被接收，变化被并行编码成异步尖峰（事件）序列，然后进行处理。

正如生物学中发生的那样，不同的通道随后准备好在大脑中进行处理。在耳朵中，神经节细胞将信号编码为化学离子的冲击：在硅耳蜗中，它们变成电尖峰。这可以使用经典的积分触发功能或异步增量调制器 (ADM) 来完成，后者将信号与两个阈值进行比较，并在传递事件时发送适当的事件，从而充当特征提取器。由于忽略了不变的信号，传递到下一阶段的冗余信息量减少了。

从功率的角度来看，如果什么也没发生，硅耳蜗几乎不会消耗任何能量，但随着活动的增加，尖峰的数量也会增加。根据应用程序的不同，这可能是一个巨大的优势（如果有很多倾听但很少采取行动），也可能根本没有优势（当有相关内容需要解码时）。

然而，作为在低 µW 范围内运行的音频传感器，该芯片可以为系统设计人员提供一个提高功率效率的宝贵选择。它还允许非常高的动态范围，因为尖峰在连续时间内运行，因此几乎可以无限地分开或靠近。

语音识别

这项工作的一个关键部分是证明有用 .具体来说，硅耳蜗产生的事件流可用于实际应用，如语音活动检测，关键字识别的第一阶段。 Liu 和她的团队通过使用事件输出创建 2D 数据帧成功地做到了这一点：到达峰值的直方图，按频率排列在 5 毫秒的帧内。被称为耳蜗图，它们可以被读入神经网络并从那里解码它们的含义。

据刘说，“IEEE ISSCC 社区对在传感器上使用深度网络非常感兴趣，而且鉴于当前对音频边缘计算的巨大兴趣，这是非常及时的。”她说，已经有很多关于用于关键字识别的低功耗 ASIC 的论文，但这些论文使用了传统的类似频谱图的特征。她的目标之一是“表明混合解决方案（混合模拟信号设计）可以带来具有更低延迟响应的更低功耗设计解决方案。”

去年，INI 发布了一段视频，展示了系统识别数字（你可以从大约 2:06 看到刘）。它远非万无一失，但在系统的开发中还处于相对早期的阶段。多年来，包括 Minhao Yang、Chang Gao、Enea Ceolini、Adrian Huber、Jithendar Anumula、Ilya Kiselev 和 Daniel Neil 在内的团队也尝试了传感器融合：刘和她的同事结合音频和视觉信息进行分类更可靠[1]。他们一直在发布初始设计规则，以选择何时模拟传感器具有优势，何时更适合坚持数字传感器 [2]。

Misha Mahowald，地址-事件表示的发明者之一，神经拟态工程奖就是以他的名字命名的。

另一项持续的努力涉及提高 DAS 的电源效率和性能。其中一部分涉及查看各个功能的实现，从基于源跟随器的带通滤波器到模拟特征提取器的设计。

减少模拟电子学中可变性的影响是另一个重要的研究领域。他们说，为了解决这个问题，他们构建了一个硬件模拟器，可以比使用商业软件（如 Cadence Virtuoso）更快地测试这些问题。通过从软件而不是硬件训练他们用于分类的二元神经网络，他们能够准确预测一系列真实测试芯片的分类性能 [3]。他们现在正在考虑向系统添加噪声作为可变性的代表，以使设计过程更加稳健。

马霍瓦尔德奖

刘是神经形态工程的早期研究人员之一；她不仅在加州理工学院的 Carver Mead 实验室工作（Mahowald 曾在那里工作），而且在许多团队离开加利福尼亚前往苏黎世时，她还是神经信息学研究所的创始成员。

在获奖时，刘说：“我们很荣幸获得这个奖项，尤其是有这么多优秀的神经形态工程研究人员。这项工作建立在 Dick Lyon、Carver Mead、Lloyd Watts、Rahul Sarpeshkar、Eric Vittoz 和 Andre van Schaik 数十年的早期硅耳蜗设计基础之上。”

关于神经形态工程的重要性，她说：“即使在摩尔定律结束时，数字计算也将落后于生物学的能源效率至少千分之一。因此，DAS 等混合模拟电子系统的潜在效率变得比以往任何时候都更加重要。”

参考文献

[1] D. Neil 和 S. C. Liu，“基于事件的传感器和深度网络架构的有效传感器融合”，在 Proceedings – IEEE International Symposium on Circuits and Systems ，2016 年 7 月，卷。 2016-7 月，第 2282-2285 页，doi：10.1109/ISCAS.2016.7539039。

[2] S. C. Liu、B. Rueckauer、E. Ceolini、A. Huber 和 T. Delbruck，“用于有效感知的事件驱动感知：视觉和试听算法”，IEEE 信号处理。玛格 ，卷。 36，没有。 6，第 29-37 页，2019 年 11 月，doi：10.1109/MSP.2019.2928127。

[3] M. Yang, S.-C. Liu、M. Seok 和 C. Enz，“使用受耳蜗启发的特征提取和 DNN 分类的超低功耗智能声学传感。”

[4] M. Yang、CH Chien、T. Delbruck 和 SC Liu，“用于事件驱动立体声音频传感的 0.5 V 55 μW 64 × 2 通道双耳硅耳蜗”，IEEE J. Solid-State电路 ，卷。 51，没有。 11，第 2554–2569 页，2016 年 11 月，doi：10.1109/JSSC.2016.2604285。

>> 本文最初发表于我们的姊妹网站 EE Times。