问答：机器人团队绘制环境组成图

德克萨斯大学达拉斯分校的 David Lary 博士正在领导一个研究小组，该小组开发了一个自主机器人设备团队，可用于危险或难以到达的地点进行调查和收集数据——提供更多、更快的洞察力远超人类所能提供的。

技术简介： 是什么促使您使用多个自主设备来收集整体环境数据集？

博士。大卫·拉里： 好吧，这段旅程有两个部分。首先是驱动我的热情。我非常渴望拥有全面的整体感知，以使人们免受伤害，以便能够获得适当的可操作的洞察力来做出及时的决定。这是我的动力，但对我来说，真正的旅程始于几年前——嗯，差不多 30 年前。

当我在剑桥攻读博士学位时，真正在附近发现臭氧空洞的人是一个名叫乔·法曼的人。因此，在攻读博士学位期间，我开发了第一个 3 维全球臭氧消耗模型。它是一个化学模块，是欧洲中期天气预报中心使用的全球模型的插件。使用我的插件，我可以对臭氧相关化学进行全球模拟。所以，我想问的一个明显问题是：这个模型有多好？为了验证它，我必须收集尽可能多的数据源：卫星、飞机、地面传感器和气球。其中一个

我面临的有害的事情是仪器间的偏差。所以，我一直在寻找一种方法来帮助处理这些偏见。虽然这是 30 年前的事了，但我很偶然地遇到了机器学习。这是在它达到今天的大规模采用之前，我发现它做得非常好。这让我开始研究我们还能用它做些什么。一路走来，我们是第一批开发化学数据同化的人，现在世界各地的机构都将其用作空气质量预报系统的一部分。

我们在数据同化中所做的一件事就是对不确定性给予很多关注。我在 NASA 的部分工作是创建全球遥感数据产品。可行的方法是，您使用遥感信息创建数据产品，例如关于大气或地表或水下成分的数据产品，例如全球海洋。您从卫星获取遥感数据并将其与现场地面实况进行比较。通常收集训练数据来完成这项工作可能需要十年左右的时间。这是一项艰巨的任务，因为您希望能够对全球可能遇到的尽可能多的不同条件和上下文进行采样。

我们的自主机器人团队在大约 15 分钟内收集了与通常用于创建这些基于卫星的遥感数据产品相同的数据量，尽管是针对一个位置。因此，它可以进入一个前所未有的新环境，并迅速进行精确协调的观察。在这种情况下，团队是一艘船和一架飞行器。我们选择了这艘船，因为这比基于地面的测量更具挑战性，因为通道问题。

这种范式不仅有助于快速创建新产品，而且有助于卫星观测的校准和验证，也有助于帮助人们远离伤害。如果您的环境污染严重，或者进入其中对人类有威胁的环境，机器人团队可以前往那里并以协调的方式收集适当的数据。

我们论文中的研究使用了带有高光谱成像仪的飞行器，可以非常快速地收集大量数据。因此，即使是我们目前最快的数据管道，可能是 5G 蜂窝通信，也不足以处理流式传输高光谱图像所需的带宽。我们通过板载处理解决了这个问题，让我们可以使用板载机器学习即时创建这些数据产品，然后将它们流式传输。最终的数据产品，比如污染物的丰度，是我们可以轻松实时流式传输的少量数据。

因此，它确实是一种快速收集全面数据的能力，这些数据可用于防止人们受到伤害，表征生态系统，成为应急响应活动的一部分，比如在一场飓风导致化工厂附近的社区被淹没之后，或任何数量的此类应用：有害藻华、石油泄漏或各种农业应用。

它被设计成一组灵活的组件。就像现在我们习惯在手机上安装应用商店，或者特斯拉汽车有无线更新一样——这些都是软件定义的传感器，拥有自己的应用商店，可以随着时间的推移进行更新以提高其功能。

技术简介： 你有飞行传感器和地面传感器，你把信息发回哪里？这一切是如何处理的？它在哪里处理？

博士。拉里： 将其视为智能传感器的集合。有一套东西：首先有一个软件定义的传感器。软件定义的传感器将是一个智能传感包，它结合了物理传感系统，例如相机、高光谱相机、热像仪或质谱仪。它可以是任何带有一些软件/机器学习的传感设备，然后它提供了提供一些校准和/或衍生数据产品的设施。大多数传感器都需要某种校准。

通过将传感器与软件/机器学习包装器相结合，我们可以进行复杂的校准，让我们拥有一个更加灵活的系统。因此，该软件定义的传感器也可以拥有自己的应用商店。这些软件定义的传感器中的一个或多个可以安装在一个平台上，该平台为传感器提供电源和时间以及它产生的所有数据的位置标记，以及通信连接，可能还包括移动性。

技术简介： 所以，这是一个物理平台？

博士。拉里： 是的——在这个例子中，我们有两个平台。我们拥有带有高光谱相机和热像仪以及其他一些传感器的机器人飞行器。然后是第二个平台是机器人船，它在其下方的水中有一整套传感器，包括声纳和各种成分传感器，在它的顶部，一个超声波气象站。

软件定义的传感器加上平台形成了一个哨兵。这个哨兵通常可以四处移动、进行测量、处理数据和/或流式传输数据。

多个哨兵一起工作可以组成一个机器人团队，他们可以相互合作，提供比任何一个人单独做的更多的能力。在这种情况下，带有传感器的空中机器人正在与水上机器人（机器人船及其传感器）合作。由于它们在同一个网络上，因此按照设计，空中机器人在与船相同的路径上滑行。船测量水中的物质，而空中机器人则使用其远程高光谱相机从上方俯视水面，并使用机器学习从我们的高光谱相机看到的水的成分中学习映射。一旦了解了这种绘图，它现在可以快速飞越更广阔的区域，并为我们提供油浓度、叶绿素丰度、溶解有机碳或我们水的任何成分的广域成分图。重新感兴趣。

我们可以做到这一点，以前从未见过这种环境——机器人团队合作收集这些训练数据。机器学习使用训练数据来创建新的数据产品，例如广域合成图。一旦该模型经过训练，就可以仅通过空中测量来完成高光谱传感，它可以在飞行器上进行处理，然后实时传输结果。通常，这是如此庞大的数据量，以至于可能需要大量时间来进行数字运算。由于它太大而无法实时流式传输，因此能够在板上对其进行边缘处理然后进行流式传输，不仅为您提供了新功能，而且还减少了延迟，甚至能够减少延迟做这样的任务。

技术简介： 这就像他们所说的使用传感器进行边缘处理以减少您必须发送的数据量。

博士。拉里： 没错。

技术简介： 您是否认为您刚刚完成的工作是原型设计？

博士。拉里： 是的，我们必须从某个地方开始，所以这是我们的第一步。

技术简介： 您如何预见它会被实际使用——假设发生了一场灾难，当局想要使用您的系统，他们会怎么做？

博士。拉里： 这个原型只是更全面的愿景的一个实例，它是多机器人团队的最小实现。在这里，我们只有两个机器人，一个是空中机器人，另一个是机器人船。我们之所以选择这两个，是因为能够感知水有获取挑战。但是这个团队很容易拥有更多的成员，比如地面行走机器人，或者可以将整个机器人团队带到潜在危险环境中进行远程部署的两栖车辆。

它可以对像 Deepwater Horizo​​n 这样的漏油事件做出反应，在那里我们看到了野生动物影响、渔业受到影响等等的图片——而且漏油事件一直在发生。或者可能有化学品泄漏。例如，当哈维飓风袭击拥有大量加工厂的休斯顿时，这些设施被严重淹没，附近的一些社区三面被污染的水包围。水中的挥发性有机化合物最终放出气体，导致严重的呼吸问题——人们不知道他们在呼吸什么，但他们知道这正在影响他们。去清理的工人也受到了污染的水的影响。

使用我们的传感系统，您将确切地知道您正在处理什么，以便您可以适当地调整您的响应。但它也可以适用于其他情况，如有害藻华。或者即使没有灾难，这种能力也可以用来描述生态系统和基础设施调查。比如说道路、铁路和桥梁，具有感应功能的自主机器人可以快速进行详细测量。

现在想象一个不同的场景。假设您拥有与我们在此示例中一样的空中机器人。借助高光谱、热和合成孔径雷达，它可以查看表面的纹理，它可以与具有探地雷达的地面机器人相结合，以寻找空隙或其他故障。无论是隧道还是道路，都会随着使用和风化而形成空洞。您还可以将许多不同的场景用于农业。它被设计为全面感应，就像乐高积木一样可以一起使用，就像即插即用一样。您可以快速将它们用于各种现实生活中的用例，实时数据驱动的决策带来更高的透明度，让人们免受伤害。

技术简介： 如果有人想使用这个系统，他们是否需要定制机器人和无人机，或者您是否有可以安装在现有设备上的软件包？您如何看待这变得实用？

博士。拉里： 多年来，我一直在努力让事情协同工作。购买设备是一回事，组件协同工作是另一回事。我们买的所有东西都是现成的，因为我们的努力是为了更好的词，比如软件集成。

话虽如此，我们使用机器学习的这些软件设计传感器的关键步骤是根据参考进行校准或动态学习。我们在空气质量方面使用相同类型的想法，并在城市中分发低成本传感器，这些传感器已经根据非常昂贵的参考传感器进行了校准。我们可以在社区范围内部署传感器，这在以前的成本上会让人望而却步。

通过能够以与该机器人团队几乎相同的方式根据参考校准低成本传感器，我们校准了由遥感能力针对原位成分（在本例中为水）进行的高光谱测量，以及你可以完成原本会非常非常具有挑战性的事情。

真正是传感器网络，自主哨兵网络使用机器学习协同工作，让你做的事情远远超过这些组件单独做的事情。

技术简介： 您是否预见到这将被商业化，由私人公司建造，还是您认为政府会参与其中？您对未来有何看法？

博士。拉里： 我未来的梦想是拥有一家商店，个人、市政当局或公司可以随时访问这些类型的功能，不仅可以获得传感器，还可以获得后端服务。因此，当您将这些东西即插即用时，它就可以正常工作，而您不必经历长时间的开发。美国国家科学基金会将其归类为网络物理系统。网络物理系统基本上是与算法相结合的传感系统，可帮助您做出更好、更及时的决策。

所以，我对所有这一切的梦想，以及我们几个人正在努力实现的目标——我们欢迎各种合作伙伴——是拥有一个网络物理社会观察站。它必须是一个国家设施，就像一个带有巨型望远镜的天文台一样，因为没有人能负担得起如此规模的事情。

想象一下，现在您拥有一组包含多个组件的传感功能，在我们的项目中，这些组件是空中机器人和机器人船。但我们的系统实际上有九种哨兵类型，用于各种类型的情况。我们可以使用来自卫星和气象雷达的遥感。除了飞行器，我们还有街道传感器、24/7 全天候空气质量、光强度、电离辐射等。我们有步行机器人、电动地面车辆和机器人船，还有可穿戴传感器。

我们还希望能够从全球大图、卫星上进行多尺度传感。所以，假设我们现在回到飓风哈维的例子。早在飓风哈维登陆之前，我们就可以通过卫星看到它，然后随着天气雷达接近登陆，我们就可以看到它。但是，一旦它登陆，微环境细节就变得至关重要。特定溪流的确切高度可能会对当地环境产生非常大的影响。因此，我们希望获得有关全球大规模和超本地规模的信息，因为你和我都生活在那个非常本地化的规模上。为了能够同时感知大尺度和局部尺度，我们确实需要多个哨兵。

但是，可穿戴传感也非常重要。例如，在我们正在做的一些平行工作中，你会看到新闻头条说空气质量差会让你“愚蠢”。但是笨到什么程度呢？哪些污染物会使我们比其他污染物更笨？因此，在我们的一项研究中，我们使用全面的生物特征传感并每秒测量超过 16,000 个参数，以及对大约 2,000 个环境参数的全面环境传感，以了解环境状态如何影响我们的自主反应。

所有这一切都是为了让人们远离伤害的整体感知，同时也是为了发现房间里可能影响我们健康的看不见的大象。一旦我们意识到这是什么并且我们可以对其进行量化，通常会有一条明显的数据驱动决策路径来使事情变得更好，然后采取适当的后续步骤来监控我们的进展。

这真的是我的梦想——成为这种整体感知的催化剂，让人们远离伤害：感知为社会服务。我们有许多原型，我们正试图将它们带到可以使用的地步。因此，我们始终欢迎来自政府、个人、地方市政当局、社区团体、公司的伙伴关系来帮助加快这一进程。我们正在与所有这些类型的实体合作。

技术简介： 听起来您正在发明一种全新的基础架构。

博士。拉里： 我们正在尝试——它基本上是由需求驱动的。通过为我们提供信息以做出适当的决定，整体信息可以产生如此大的影响。如果没有适当的基础设施，这样做并非易事。

技术简介： 听起来很棒，我只希望有一天它可以实现。

博士。拉里： 我也是。我们已经走了很长一段路。我认为我们正在迈出第一步。

另一点是在物理之外，我没有得到，你可能会出现旷课等事情，这会导致学习效果不佳。但事实证明，旷工可能是由于哮喘等原因。哮喘是由高花粉或空气污染引起的，它实际上是一连串的影响——社会正在与环境相互作用。我们不希望这只是单向的事情。我们希望观察的触发因素既是我们直接从传感中看到的，也来自社会问题，例如健康结果集群或藻类繁殖，这可能会破坏渔业或石油泄漏——这是一种双向的相互作用。

拥有一个数据平台，可以将所有这些环境参数层与死亡率趋势、缺勤率、癌症发病率等社会层相结合，可以帮助决策过程更加透明和有效。

技术简介： 你现在在做什么？您的下一步是什么？

博士。拉里： 这个拥有船只和飞行器的特殊机器人团队的下一步将是增强该自主团队的各个方面。然后我们想扩展它以拥有更多的团队成员。例如，拥有一种两栖地面车辆，它可以将船只和飞行器运送到受污染的环境中，然后部署它们，同时也可以自行进行测量。另外，让机器人成为整治的一部分。

这是不同的组件一起工作。同一类型的团队也可用于查看基础设施的维护，无论是道路、铁路还是桥梁，以及环境质量的其他方面——空气质量、水质。所以说真的，这个概念证明只是一个原型展示：“嘿，这真的可以做到，现在我们想在这么多不同的应用程序中扩展它。”

此外，这些可以是卫星任务的原型。您可以想象一条管道，您可以在其中对飞行器进行概念验证。然后它可以过渡到其他平台，例如 CubeSat。这也可以是验证过程的一部分，为卫星任务收集数据，以及为我提到的任何不同目的收集数据。

本次采访的编辑版本出现在 2021 年 6 月的《技术简报》中。