神经形态视觉具有多种应用

基于事件的视觉公司 Prophesee 展示了来自世界各地的视觉传感器的一些有趣应用，涵盖生物技术、科学分析、机器人技术和空间技术。一个项目使盲人部分恢复视力；另一个跟踪天空中的太空垃圾，无论是黑夜还是白天。

Prophesee 表示，它拥有一个由 2200 名发明家组成的社区，目前正在使用其技术。这些项目作为 Prophesee 发明家社区的一部分展示，旨在激发未来的创造力。这是详细信息。

恢复视力

Gensight Biologics 已部分恢复了晚期视网膜色素变性患者的视觉功能。治疗使用配备有基于 Prophesee 事件的视觉传感器的特殊护目镜。

作为治疗的一部分，患者的视网膜接受了来自藻类的光敏蛋白，这使得视网膜细胞对琥珀色光 (590nm) 敏感。 Prophesee 视觉传感器是一副护目镜的一部分，可将视觉信号转换为高强度的琥珀色光，然后照射到患者的眼睛中。使用护目镜七个月后，患者（以前完全失明）的视力已经足够好，可以检测到街道上标记的行人过路处。他能够辨认出面前桌子上的笔记本（92% 的几率）和铅笔盒（36% 的几率）。他可以抓取物体并计算它们。

Gensight Biologics 已将 Prophesee 传感器集成到护目镜中，可将世界图像转换为琥珀色光。患者视网膜上的修饰细胞能够检测到这种光并理解它。 （来源：Gensight Biologics / Prophesee）

患者可以通过 Prophesee 传感器看到形状的边缘，该传感器可提供快速流畅的视觉体验，并且在光照条件下具有很强的鲁棒性。传感器生成稀疏数据；没有时间花在重新编码图像上。

该研究与巴塞尔大学 UPMC 合作进行，结果发表在《自然医学》上。虽然这项工作只涉及一名患者，并且是初步的，但它应该被视为应用该技术和治疗神经退行性疾病等患者的重要成果。

细胞疗法

英国剑桥顾问公司一直在医学成像系统中使用 Prophesee 传感器进行细胞治疗。基于对患者自身细胞的重新编程，细胞疗法在治疗癌症、自身免疫和神经系统疾病等方面具有潜力。制造重编程细胞是一个费力的手动过程，单剂量平均成本为 475,000 美元。

该过程中的一个关键步骤是检查样品是否无菌。这可能需要 7-14 天的潜伏期，而患者正在等待治疗。如果检测到污染物，则必须采集新样本并重新开始潜伏期。 Cambridge Consultants 使用 Prophesee 的图像传感器在细胞级别查看样本，并使用 AI 模型实时检测、跟踪和分类污染物（<18 毫秒，而 7-14 天）。

PureSentry 使用 Prophesee 传感器与人工智能相结合，根据大小、形状和运动来发现污染物（在本例中为大肠杆菌）。 （来源：Cambridge Consultants）

Cambridge Consultants 开发的 PureSentry 系统可以领先于其他技术，精确、准确地跟踪人体细胞和污染物。该公司展示了一段视频，视频中根据大肠杆菌的大小、形状和特征运动在样本中检测到大肠杆菌。它可以在更困难的条件下工作，例如低光照和高流速，并且是一种非破坏性测试。该设备有助于提高细胞治疗过程的自动化程度；不需要高技能的技术人员。

跟踪粒子

格拉斯哥大学、赫瑞瓦特大学和斯特拉斯克莱德大学的一个团队一直在使用 Prophesee 的图像传感器进行高速粒子检测和跟踪。目的是使微流体分析更快、更便宜。

该团队设法以高达 1.54 m/s 的速度对低至 1 µm 的粒子进行轮廓分析，并以相当于每秒 20,000 张图像的时间分辨率捕获数据。他们的设置使用基于 Prophesee 事件的视觉传感器和标准荧光显微镜和照明。

机器人触摸

新加坡国立大学的研究人员正在使用基于事件的视觉与新的触摸传感器技术相结合，为机械臂和手构建触觉。

研究人员开发的触摸传感器 NeuTouch 是由安装在机器人指尖上的 39 个传感器组成的阵列。该传感器产生“尖峰”信号，类似于 Prophesee 传感器，可由神经形态处理器（特别是 Intel Loihi）处理。

新加坡国立大学的 NeuTouch 传感器大小与人的手指 (A) 相当，由类似于骨骼和皮肤 (B) 的部分组成，包含 39 个触觉像素或“tactels”(C)。 （来源：新加坡国立大学 / Prophesee）

这项工作很重要，因为它展示了一种同时从多个传感器（触摸传感器和 Prophesee 传感器）的数据中集成和提取意义的方法，适用于功率受限系统中的复杂任务。

机器人经过训练可以捡起装有不同液体量的容器；它能够确定液体是什么以及它的重量。重量信息来自视觉传感器，因为每个容器在捡起时都会变形。

机器人通过“滑动测试”进行测试——确定牢牢抓住物体所需的最小压力。触摸和视觉感应的结合意味着系统可以非常快速地检测滑动，比人类触摸快 1000 倍，在 0.08 秒内检测到旋转滑动。

研究人员希望这项技术可以用于工业机器人，甚至可以恢复假手的触觉。

阅读EE Times ’在这里报告这项令人兴奋的技术。

太空碎片

西悉尼大学开发了 Astrosite，这是一个移动天文台，它使用 Prophesee 技术与望远镜相结合来跟踪环绕地球轨道上的空间碎片。

准备部署的 Astrosite 望远镜天文台（来源：西悉尼大学）

轨道上卫星数量的增加意味着与其他物体相撞的风险正在增加；太空中大约有 4850 颗卫星，但只有大约 40% 处于活动状态。监测死卫星和其他碎片通常使用高分辨率相机完成，这对于在白天拍摄图像并不理想。它们还捕获大部分空白空间，导致处理大量不必要的数据。

基于事件的传感是一个很好的解决方案，因为它可以捕获有关其视野变化的数据。 Astrosite 使用基于 Prophesee 事件的传感器生成的数据比传统相机系统少 10 到 1000 倍。它还可以在低功耗下以微秒时间分辨率连续（白天和黑夜）监测碎片。

>> 本文最初发表在我们的姊妹网站 EE Times Europe。

相关内容：

• 用于脉冲神经网络的神经形态 AI 芯片首次亮相
• 传感器融合实现机器人抓握
• 堆叠式传感器架构带来先进的视觉功能
• 机器学习算法利用 ReRAM 可变性
• 工具提升价值链，揭开视觉 AI 的神秘面纱

有关 Embedded 的更多信息，请订阅 Embedded 的每周电子邮件通讯。