系统使用智能手机或电脑摄像头测量健康
远程医疗已成为医生在 COVID-19 期间最大限度地减少面对面接触的同时提供医疗保健的重要方式。但通过电话或在线预约，医生更难实时获取患者的重要生命体征，例如脉搏或呼吸频率。
一种方法使用人的智能手机或计算机上的摄像头从他们脸部的实时视频中获取他们的脉搏和呼吸信号。为了使机器学习有助于远程健康传感，系统必须识别视频中包含最强生理信息来源（例如脉搏）的感兴趣区域，然后随着时间的推移对其进行测量。由于每个人都是不同的，系统必须快速适应每个人独特的生理特征，并将其与其他变化区分开来，例如他们的长相和所处的环境。
该团队的系统是保护隐私的——它在设备上而不是在云端运行——并使用机器学习来捕捉人脸反射光线的细微变化，这与血液流动的变化有关。然后它将这些变化转换为脉搏和呼吸频率。
该系统的第一个版本使用包含人脸视频和“基本事实”信息的数据集进行训练：每个人的脉搏和呼吸频率由现场标准仪器测量。然后，该系统使用来自视频的空间和时间信息来计算这两个生命体征。它在主题移动和说话的视频上优于类似的机器学习系统。但是，尽管该系统在某些数据集上运行良好，但它仍然在处理包含不同人物、背景和照明的其他数据集时遇到困难——这是一个被称为“过度拟合”的常见问题。
研究人员通过让系统为每个人生成个性化的机器学习模型来改进系统。具体来说，它有助于在视频帧中寻找可能包含与不同环境下面部血流变化相关的生理特征的重要区域，例如不同的肤色、照明条件和环境。从那里，它可以专注于该区域并测量脉搏和呼吸频率。
虽然这个新系统在提供更具挑战性的数据集时优于其前身，特别是对于肤色较深的人，但仍有更多工作要做。当对象的皮肤类型较深时，仍然存在性能较差的趋势，部分原因是光线从较深的皮肤反射不同，导致相机接收到的信号较弱。
任何远程感知脉搏或呼吸频率的能力都为远程患者护理和远程医疗提供了新的机会。这可能包括自我护理、后续护理或分诊，尤其是当某人无法方便地前往诊所时。
传感器