问答：平台将耳机从哑巴转换为智能

智能耳机和哑耳机之间的区别在于，智能耳机不仅仅是播放音乐——它们可以是生理监视器和虚拟触摸屏。范晓然在罗格斯大学攻读博士期间，带领研究团队开发了一种名为 HeadFi 的方法，该方法使用普通耳机作为传感器。

技术简介： 这个项目是如何开始的？

范小冉： 我是一个发烧友，所以我对耳机很感兴趣。虽然简单直接的耳机用于工作室混音器和家庭音频等应用，但最近，我们已经看到来自 Apple、Samsung 和 Microsoft 的智能耳机。

我们一直都知道耳机中的驱动器在原理上与麦克风类似，因此在某种意义上它们是互惠的。由于麦克风可以感知信号，这意味着耳机默认也可以这样做。所以，虽然耳机有智能的潜力，但还没有人使用过这种智商。那是让我朝着这个方向发展的最初动力。另外，我的顾问 Rich Howard 一生都在做小信号测量，所以当我和他谈到这个想法时，他指出了一些我可以尝试的方法。然后我投入其中，经过大量的探索和实验，我们能够发表一篇关于我们工作的论文。

技术简介： 耳机如何用作麦克风？

粉丝： 驱动器本身很复杂——它有电阻、电容和电感——它是一个复杂的阻抗系统。确切的技术取决于您拥有的耳机类型，但基本上，它们都只是将电信号转换为机械信号的换能器。原则上，这些换能器可以反向操作。机械信号可以使振膜振动，从而使音圈来回移动以产生电信号；所以，原则上它们是互惠的。

但问题是耳机针对播放音乐进行了优化——音乐信号占主导地位。虽然您可以同时录制来自外部的激励信号，但它可能比音乐信号小 1000 倍。因此，挑战在于如何在耳机仍在播放音乐时执行传感任务。如果我们不能这样做，并且用户必须停止音乐才能使用感应功能，那么这没有用。

所以，我们做了一些非常有趣的事情。耳机成对出现，有左驱动器和右驱动器。我们利用了耳机的制造使左右驱动器相互匹配这一事实。这意味着两者中的声音信号是平衡的。因此，我们可以使用来自左驱动器的输入信号来消除来自右驱动器的输入信号，因为我们知道我们正在为两个通道播放的确切音乐信号。因此，如果左右驱动器的输出之间存在差异，则减去输出将产生差异信号。

假设我说话——两个耳机会捕捉到我的声音，但从我嘴巴到左司机的声音和从我嘴巴到右司机的声音通过不同的渠道传播。我的声音和左耳之间的物理通道和我的声音和右耳之间的物理通道是不一样的。这是因为我的骨骼和组织的结构从左到右不同。

所以，如果你做减法，就会有左右司机之间的差异，这是可以捕捉到的。这种减法消除了音乐信号，但使我们能够捕获传感信号的差异。我们可以利用那一小段信息来做一些事情。

技术简介 ：您能否向我解释一下如何使用耳机来测量诸如识别用户之类的事情；监测心率；和识别手势。

粉丝 ：我们实际上在论文中介绍了四种应用：手势识别、心率监测、用户识别，还有——最简单的——语音通信。

以心率监测为例。当你匆忙时，你的心脏会跳动——它会在你的全身产生一种机械振动，耳机可以捕捉到这种振动。

但就像语音一样，从你的心脏到左耳机和右耳机的通道是不同的。通过我们的算法运行差分信号，我们可以找到你的心率周期。

至于手势识别，假设您点击或触摸耳机的右侧外壳。右侧驱动器将接收到触摸信号，但左侧驱动器将接收到弱得多的触摸信号。减法后，您将知道相位。如果上升沿在一个方向，则表示是右边的手机，如果上升沿在另一个方向，则表示在左边。

但是还有其他更高级的方法来定义手势。例如，划痕产生的信号会更复杂。在这种情况下，您可以应用一些深度学习方法来学习信号模式以识别手势。

但我认为最有趣的应用是用户识别。它的工作方式是耳机产生一个滑动信号——向上滑动一个频段并将信号发送到你的耳朵。信号通过您的耳道传播，反射回来，并被产生它的同一个耳机驱动器捕获。左右驱动器都捕获信号并进行减法运算。有趣的是，每个人的耳道都有不同的结构——就像指纹一样——这意味着每个人耳机接收到的回声都会不同。更有趣的是，对于每个人来说，左右耳道是不同的，所以如果你做减法，就会有不同的信号。而且这种差异也因人而异——即使是同卵双胞胎。我们对同卵双胞胎进行了实验，成功率超过 95%。我认为这是应用程序的一个很酷的部分。

技术简介 :为什么要用高频信号？

粉丝 :我们产生高频的原因是因为它有点像 CT 扫描——超声波 CT 扫描。我们滑动一系列频率，因为我们的耳道具有不同的结构，更高的频率可以以更好的分辨率探索，以便识别特定耳道的独特形状。我们对频率进行扫描，以找到最适合那只耳朵的频率。

技术简介 :你如何产生扫频信号？

粉丝 :我们的软件中包含一个啁啾发生器。

我们有一个完全自动化的流程。有两个步骤。第一步是检测耳机是否戴在头上，然后运行应用程序。

我们使用一个有趣的技巧来检查耳机是否在您的头上。它基于贝壳效应。当你在岸上行走时，如果你捡起一个贝壳并把它夹在耳朵附近，你会听到类似海浪声的声音。那是因为贝壳和你的耳道形成了一个半密封的空间外壳，可以产生共振并放大一些频率。

耳机也是如此。当您将耳机戴在耳朵上时，某些频率已经被放大，我们可以通过简单地查看不同频率的信号强度来检测耳机是否在您的耳朵上。如果耳机在您的头上，我们会开始发送啁啾声。

但我们不限于这四个应用程序。我们还可以进行计步和呼吸监测等测量。

技术简介 :你怎么知道输入是来自脚步还是来自呼吸？

粉丝 ：信号会彼此不同，因此您可以使用深度学习模型来区分它们。

这也可以用于养老。它可以识别一个人是否跌倒，所以我们应该拨打 911。我们也在计划解决这个问题。

我们项目的核心智力贡献是我们提供了一个平台，可以让普通耳机变得智能，从而实现一系列可能的应用。在高层次上，这项技术可以实现无处不在的人机/耳机/网络接口，因为很多现有的“哑”耳机都可以从 HeadFi 中受益。

技术简介 :当你说平台时，你是指软件吗？

粉丝 ：这是一个软件/硬件解决方案。硬件是一个惠斯通电桥，用于在左右驱动器之间进行抵消。之后，我们需要对分类等任务进行信号处理，包括对向量机或深度学习框架的支持。所以，虽然它是一个软硬件结合的解决方案，但硬件可以非常简单——只要两个电阻就可以了。

技术简介 :你有一个可以插入的适配器吗？

粉丝 :是的，这就是我们目前的硬件原型。

技术简介 ：然后您必须设计一个应用程序来下载加载到智能手机中？

粉丝 :是的，我们现在使用的适配器是USB Type C接口，现在耳机和手机上很常见。

技术简介 ：您对这可能何时商业化有一个粗略的了解吗？

粉丝 ：我们目前正在使用罗格斯商业化中心网站寻找合作伙伴，并正在探索苹果或三星或微软等潜在合作伙伴。我们也在开发升级硬件，因为我们当前的适配器只是一个开放的印刷电路板。到目前为止，我们已经能够将此时的电路板尺寸缩小到 3 cm x 2 cm。我们的目标是使其即插即用，并且我们还在编写 Android 软件以使其易于演示。

本次采访的编辑版本出现在 2021 年 5 月的《技术简报》中。