使用 AI 和 ML 在边缘应用程序中提取可行的见解

如果数据从边缘开始，为什么我们不能从 AI 的角度尽可能多地做呢？

边缘设备和应用程序的爆炸式增长需要新思维来分析数据的位置和方式，并获得洞察力。新的边缘计算选项，再加上许多用例中对洞察速度的要求更高，正在推动人工智能 (AI) 和机器学习 (ML) 在边缘应用程序中的使用。

人工智能和机器学习应用在哪里（在边缘或数据中心或云设施中）是一个复杂的问题。为了深入了解当前的策略和最佳实践，我们最近与 AI/ML &Edge 首席架构师 Said Tabet 进行了交谈；和 Calvin Smith，CTO，新兴技术解决方案；都在戴尔科技公司全球 CTO 办公室工作。

我们讨论了对 AI 和 ML 的日益增长的需求，以使当今生成的大量边缘数据有意义，边缘应用程序中 AI/ML 的计算要求，以及此类计算是否应该在边缘或数据中心或云设施中完成。

新兴趋势

RTInsights： 当今的新兴趋势是什么，AI 和 ML 如何融入 Edge 讨论？

标签： 今天，当人们谈论新兴趋势时，他们经常提到很多东西，比如边缘、物联网、人工智能/机器学习、增强现实、虚拟现实、区块链和 5G。我们将 Edge 定位为下一步我们将采用这些技术的方向——不仅仅是趋势，而是真正的采用。我认为从数据和用户体验的角度来看，需要洞察力，并且由于我们作为人类的不耐烦，再加上现实世界的延迟问题，我们需要尽快获得洞察力。此外，如果数据从边缘开始，为什么我们不能从 AI 的角度尽可能多地做呢？

显然，人工智能，尤其是机器学习，在它需要的数据量方面是贪婪的。它需要快速学习。我们在 Edge 上真正可以做些什么？我认为这就是讨论的开始。区块链或分布式账本是这里要考虑的其他领域。通常，您会看到对信任的需求，特别是从数据的角度来看。还需要信任我们产生的洞察力、我们的反应方式以及来自这些发现的可操作项目。从整体安全、隐私和治理的角度来看，这带来了一些额外的需求。无论您是商务人士、个人还是车队，您都需要在该体验中考虑到所有这些。

史密斯： 如果我们对目前的物联网设备进行总体估计，假设今天连接了 20 到 300 亿台物联网设备。说回来，我认为是在 2014 年左右，连接的移动设备的数量超过了世界上的人数，对吧？然后在 2017 年，物联网设备也超过了全球人口。

标签： 是的。没错。

史密斯： 这是一个很大的跳跃，而且它会继续跳跃。你打算雇佣 270 亿人出去维护这些 Edge 设备吗？然后，通过基础设施堆栈，显然，这不是 1:1 映射，但实际上不可能聘请足够的数据库管理员、数据科学家、架构师和工程师。相反，这一切都是关于在边缘驾驶自动化和优化。只是庞大的数据量，而且，asDr. Tabet 提到了应用程序和功能的贪婪，特别是在 AI 中。您需要能够出于多种原因处理大量信息，其中一个原因是成本。在开始将数据发送到数据中心或云之前，您想分析边缘实际有价值的数据。

AI/ML 与 Edge 的作用

RTInsights： 说到 Edge，为什么还需要 AI/ML？

标签： 有几个原因。首先，有原因。从自动化的角度来看，AI 和 ML 是一种更加自动化的方式，并且在这方面更加自律，而你在边缘就可以做到这一点。你今天看到了。需要通过这种将云构建到边缘的连续体的观点来强制执行，包括数据平面或控制平面以及开发工具包等，开发人员认为如果我正在为边缘编写，那就是和云一样。

从人工智能的角度来看，自动化是一件大事。在边缘，您不会在那里进行真正的深度处理（即深度学习 - DL），至少通常不会。我认为非常重要的另一个方面是，您将在边缘快速获得的洞察力通常与您将带给数据中心或云的洞察力不同，将其与其他信息类型。在这一点上，你正在失去大量的情报动力，就你获得的洞察力而言，或者如果你在 theEdge 这样做，你将要做的决策。尽管如此，Edge 确实需要人工智能。他们齐头并进。

史密斯： 我认为另一个原因是商业原因。所有这些“东西、传感器、执行器、设备”，它们可以像联网的家庭、联网的游轮或联网的汽车一样大。或者它们可以在工厂、拖拉机或泵内或之上。长话短说，现在所有行业都在商品化，对吧？可以选择在全球范围内建造和购买东西。公司试图区分的方式是通过与他们销售的产品和资产相关的服务。您对价值的评估越多，许多公司就会从产品转向服务。这就是产品到服务的转变。

他们试图将资产作为服务出售。有时它甚至是商业模式的转变，从资本支出转变为运营支出。有时他们仍然只打算作为资本支出销售，但他们可能能够销售一组额外的服务，或者当他们的产品智能且连接时将其用作差异化因素。再次，正如 Said 所提到的，优化和自动化并能够在正确的时间提取正确的数据，正确的地点使公司能够参与竞争。仅仅简单地制造一件物品并不总是能产生价值。

标签： 我想补充的另一件事是，在边缘，如果我们正在查看来自单个企业或组织的数十万台设备，无论是在自动驾驶汽车中，您都会查看汽车实例，每一个这些汽车在不同的环境下可能会有不同的表现。当你把它们结合在一起时，从中学习是非常重要的。在工业自动化中也是如此。您可以查看风力涡轮机、飞机发动机或医疗保健。在许多这些不同的环境中，当您将这些信息带回数据中心或云时，这些 AI 模块或 AI 算法的性能会更加精确、高效、性能更好。换句话说，虽然来自一项资产的数据肯定具有价值，但您开始从互联的资产车队及其在不同环境中的交互中收集真正的洞察力。

决定应该在哪里完成边缘 AI/ML

RTInsights： 边缘应用程序的 AI/ML 计算工作在哪里完成？

标签： 这又回到了前一点，在许多情况下，人工智能算法需要大量数据来训练。您可以在数据中心或云中，在可以拥有这些高性能计算能力的集中式环境中这样做（并且存在分歧）。在边缘，您将部署这些算法，它们可以更有效地用于影响边缘的目的。显然有讨论，在某个时候，我们也将能够在 Edge 上进行一定程度的培训。由于大多数 Edge 环境的严格限制，这首先​​会受到限制。

边缘计算的注意事项

RTInsights： 边缘计算解决方案有哪些要求？

标签： 嗯，这很棘手，因为对 Edgeis 有不同的定义。您与汽车制造商交谈，他们说我的车是 Edge。当您与涡轮机制造商交谈时，风力涡轮机就是他们的优势。工厂中的制造设备也是 Edge。他们会有不同的环境。其中一些会非常苛刻。在戴尔，我们在计算环境方面拥有丰富的经验，这些环境可能包括那些具有强烈振动和极高或极低温度的恶劣条件。我要说的一件事是[边缘计算解决方案]的第一要求是功耗。应该是低电量。这违背了我们所知道的任何事情，尤其是在 HPC 中，对吧？你使用了大量的 GPU，你有热量，你需要电力。在这些 [Edge] 环境中这是不可能的。我们将不得不将 [the compute components] 带到另一种形式，或者我们甚至可能会考虑不同类型的加速器，例如新一代 AI 专用未来几年将出现的加速器类型。

史密斯： 酷而有趣的是，我们能够持续地在恶劣环境下工作，并且能够在负五度、有时 10 摄氏度，然后高达 55 摄氏度以上的温度下工作。正如Tabet 博士所说，对于危险或恶劣的环境，您需要能够防止与振动、冲击和所有类似爵士乐相关的问题。然而，我们不断能够使外形尺寸越来越小。显然，我们在合作伙伴和芯片开发商的帮助下做到了这一点。

有趣的是这种使外形尺寸更小、更坚固的概念，同时使它们尽可能易于操作和使用。从应用程序的角度来看，这与在边缘执行云本身无关，尽管这也可能发生。这更多是关于将云原生原则带到边缘。无论是容器还是 VM [虚拟机]，您都可以轻松轻松地将它们移植到不同类型的基础架构和不同类型的环境，并拥有单一的玻璃视图。这也有可能实现多云环境。 Edge 可以成为您的新控制点，成为您对正在发生的事情的全新可视化平台，弥合了 OT 或运营技术方面与 IT 方面之间的差距。这很迷人。我想说，这是一个新的探索前沿，它推动了未来的大量产品路线图。

边缘 AI/ML 用例

RTInsights： 你能举一些 AI/ML Edge 应用的例子吗？

标签： 我几年来一直在研究与移动应用相关的挑战（如自动驾驶汽车）。我们与多个组织和直接与我们的客户合作，正在研究如何为这个市场带来不同的能力。我会稍微抽象一下，并给你一些例子，这些例子可以促进这种边缘部署。在我们所说的 RSU、路边单元、车辆本身或它们正在做的感应中，Edge 有一些用例。其中一些示例是我们所谓的高清地图（高清地图）的扩展版本，其中地图语义丰富、受上下文驱动，并且可以近乎实时地更新。

这是使用人工智能来减少传输数据的数量和成本的一个例子。您只处理那些特定服务所需的内容。例如，可以减少视频。您可以减少数据量。您可以专注于要检测的非常具体的对象。这些是该级别可以提供帮助的示例。

其他与这些边缘设备的运行状况有关，您正在监控特定设备、引擎、整车等，并且您正在尝试在车辆或设备级别进行尽可能多的分析，特别是为了安全原因（例如，在许多物联网用例中基于条件的监控）。

在零售领域还有其他示例，您会看到更多的 Edgedeployment，但方式不同。从某种意义上说，您拥有从边缘到云再到数据中心的连接，在我们所说的边缘云中，您可以在边缘做尽可能多的事情。 [边缘是]您收集数据并进行所有需要的分析的地方。例如，在零售的情况下，您正在为最终用户提供更好的体验。您正在尝试为他们提供个性化的体验，以便最大限度地降低成本，同时优化服务。

现在，特别是在我们所处的情况下，有很多与医疗保健相关的案例。我们可以在边缘收集多少数据并尽快做出反应？通常我们谈论的是分布式环境正如卡尔文所说，数十万或数百万台设备的规模。这是人工智能和机器学习可以发挥更大作用的领域。我们一直在谈论数据的变化，并且借助 AI 功能，其中一些应用程序会自行调整。学习继续，培训继续在那个级别。

在所有这些领域——医疗保健、零售、自动驾驶汽车、一般的移动性以及许多其他领域——您正在通过预测性或有条件的维护来降低成本。 Edge 还让您能够远程控制设备，因此如果您的专家无法安全地前往收集数据的地方，他们实际上可以远程提供该功能，甚至包括 AR 或 VR 之类的东西。但是您也可以提前在 Edge 中完成大部分工作，因此您可以在需要时尽量减少他们的出现。这些只是一些例子。

史密斯： 我会添加两个比重要的。一是我们在安全和安保领域拥有庞大的业务。就像 Said 提到的那样，您可能正在运行非常大的算法，并为诸如……之类的事情处理数据。好吧，举个例子。想象一下，您有这样一个场景，公共场所发生枪响，比如说在加油站外面。你需要做出很多自动化和即时的决定来确定要采取什么行动。一件事是，从音频的角度考虑枪声识别，但从计算机视觉的角度将其与物体识别相关联，以实际表明它是一种武器，而不仅仅是汽车回火。

然后，如果你有一个肇事者这样做，你也可以拥有现在实际上相当简单的算法，可以在边缘执行，但可能起源于数据中心，用于车牌识别之类的事情。然后，您可以识别出逃嫌疑人的车牌。这一切都是在边缘自动化和执行的。该领域有很多用例，涉及摄像头、监控、安全以及公民的一般安全。

另一个大用例领域，我认为我们会忽略不提，是用于智能设施的深度学习，这是我们在很久以前与东芝一起启动的工业互联网联盟的测试平台。自成立以来，我们还加入了 SAS 和 Wipro，不同的公司带来了不同的价值。

最初的想法是建造一个设计为最先进的巨大设施。如果我没记错的话，我相信它是在 2011 年建造的，它已经有，有多少传感器，说？比如 20,000 个传感器之类的？

标签： 不仅如此，我还要说。 2011年建的时候大概有3.5万吧。

史密斯： 35,000，对。这是一个全新的、最先进的设施，但设计师们想要突破极限，学习并做更多的事情。神经网络是通过一系列连接到参数服务器的服务器实现的，让建筑物本质上是与其关键系统相关的自学习。我们正在谈论诸如电梯和自动扶梯之类的东西，当然还有诸如 HVAC 系统之类的高成本的东西。这个想法是至少在最初进行异常检测并寻找一个人（没有人工智能）很难找到的事物之间的相关性。

例如，关于厨房发生的事情有一些非常有趣的发现。数据确定这些事件实际上增加了成本，并且由于这些行动，特定的通风部分被关闭。当它是数据而不是人类调查事物时，你可以开始找到什么是令人难以置信的。我们说的是一个真正的、深度的神经网络，它是自我学习的——自学去寻找什么，寻找人类通常不会自行确定的互相关。当您真正考虑时，所有这一切都在“边缘”。这一切都在大楼内执行。然后，当然，一些核心处理又回到了数据中心。

标签： 在最近的一个项目用例中，我们添加了许多设备，类似于处理建筑物内 HVAC 和其他事物的所有这些资产。在某些情况下，它们中的每一个都配备了自己的机器学习算法或 AI 算法，这使他们能够自我维持，但同时也可以互相学习。回到 Calvin 的故事，如果我可以使用这个词，我们将看到越来越多的这种自主人工智能。确实，我们不为它提供方向的想法，但随着时间的推移，它会根据其参数和所需的生产力优化进行自我调整和自我学习。