耳机检测面部表情，戴口罩也能精准识别

研究人员发明了一款耳机，能通过观察脸颊轮廓持续追踪完整面部表情，并将表情转译为表情符号或无声语音指令。佩戴这款耳挂式设备（称为C-Face），用户无需将摄像头对准面部，即可向在线协作者表达情绪——这在全球大规模远程办公和学习的背景下，是一个特别有用的沟通工具。

该设备比现有的耳戴式面部表情追踪可穿戴技术更简单、更不显眼、功能更强。以往旨在识别面部表情的可穿戴技术，大多需要在面部贴附传感器；即使装备如此繁多，也只能识别有限的离散面部表情。

有了C-Face，虚拟现实环境中的化身能表达用户真实感受，教师可在在线课程中获取学生参与度的宝贵信息。它还可仅凭面部线索控制计算机系统，如音乐播放器。因为通过检测肌肉运动工作，C-Face即使在用户佩戴口罩时也能捕捉面部表情。

设备由两个微型RGB摄像头组成——捕捉红、绿、蓝三色光波段的数字摄像头——分别位于配合耳机或耳塞的双耳下方。摄像头记录面部肌肉运动引起的面部轮廓变化。做面部表情时，面部肌肉伸缩，推拉皮肤并影响附近面部肌肉张力，导致从耳部视角观察到的脸颊轮廓发生改变。

图像捕获后，通过计算机视觉和深度学习模型重建。由于原始数据是二维的，卷积神经网络——一种擅长图像分类、检测和检索的人工智能模型——帮助将轮廓重建为表情。模型将脸颊图像转译为42个面部特征点或地标，代表嘴、眼、眉的形状和位置，因为这些特征受表情变化影响最大。

受COVID-19疫情限制，研究人员仅在九名参与者身上测试了设备。他们将其性能与最先进的计算机视觉库对比，后者从正面摄像头捕获的全脸图像中提取面部地标。重建地标的平均误差小于0.8毫米。

这些由42个特征点表示的重建面部表情，还可转译为八种表情符号（包括"自然"和"愤怒"），以及八条控制音乐设备的无声语音指令，如"播放"、"下一曲"和"调大音量"。

利用面部表情控制设备的能力，在共享工作空间中很有用，例如人们不想通过大声说话打扰他人时。将表情转译为表情符号，可帮助虚拟现实协作中的人员更无缝地沟通。

C-Face的一个局限是耳机电池容量有限。作为下一步，团队计划研发功耗更低的传感技术。

传感器