流数据开启物联网时代的新可能性

Hazelcast 的 Kelly Herrell

在前数字时代，IT 部门掌握了多种从数据中提取价值的技术方法。数据仓库、分析平台和不同类型的数据库填满了数据中心，访问存储设备，其中记录安全地保存在磁盘上，以确保其历史价值。

相比之下，Hazelcast 的首席执行官 Kelly Herrell 说 ，今天的数据正在以前所未有的速度由物联网 (IoT) 设备生成和传输。物联网中的“事物”数不胜数——传感器、移动应用程序、联网车辆等——它们本身就是爆炸性的。再加上价值程度与附加用户数量直接相关的“网络效应”，不难看出为什么像IDC这样的公司 预计物联网市场明年将达到 7450 亿美元（6650 亿欧元），并在 2022 年超过 1 万亿美元（0.89 万亿欧元）。

这一大趋势正在颠覆数据处理范式。存储数据的历史价值正在被流数据的时间价值所取代。在流数据范式中，价值是即时性的直接函数，原因有二：

• 区别 ：就像通过一段软管的独特水分子在每个时间点都不同一样，每个时间窗口通过网络的独特数据流也是如此。
• 易腐烂 ：根据在流数据中发现的见解采取行动的机会通常在数据生成后不久就消失了。

区别的概念 和易腐烂 适用于这种流数据范式。在数据流中检测到的突然变化需要立即采取行动，无论是实时面部识别的模式命中，还是钻机振动传感器突然记录异常，如果不立即采取预防措施，这些异常可能是灾难性的。

在当今这个时间敏感的时代，物联网和流数据正在加快这种新数据范式的变革步伐。流处理本身正在迅速变化。

两代，同样的问题

第一代流处理主要基于使用基于 Hadoop 的复杂架构的批处理。数据加载后——这在很大程度上是在数据生成之后——然后作为流通过数据处理引擎推送。复杂性和延迟的结合使得该方法在很大程度上不足。

第二代（仍在大量使用）将批次大小缩小为“微批次”。实现的复杂性没有改变，虽然较小的批次花费的时间更少，但设置批次仍然存在延迟。二代可以识别差异 但没有解决易腐性问题。 当它发现流中的变化时，它已经成为历史。

第三代流处理

前两代突出了 IT 组织面临的障碍：如何在数据生成时处理数据时更容易实施流处理？答案是：软件必须简化，而不是面向批处理，并且要足够小以放置在非常靠近流源的位置。

前两代流处理需要安装和集成多个组件，这导致大多数边缘和物联网基础设施占用空间过大。轻量级的占用空间允许将流引擎安装在靠近或嵌入数据源处。近距离使 IoT 流无需遍历网络进行处理，从而减少延迟并有助于解决易腐性挑战。

IT 组织面临的挑战是实时摄取和处理流数据源，将数据细化为可操作的信息 .批处理中的延迟降低了流数据的价值。第三代流处理可以通过立即处理任何规模的实时原始数据来克服批处理中固有的延迟挑战。

流媒体实践

钻机是能源行业最知名的标志之一。然而，钻井平台的运营成本非常高，整个过程中的任何停机时间都会对运营商的底线产生重大影响。预防性洞察为大幅改善这些损失带来了新的机会。

SigmaStream ，专门研究钻井过程中产生的高频数据流，是该领域正在实施的流处理的一个很好的例子。 SigmaStream 客户钻机配备了大量传感器，用于检测钻井过程中的最小振动。这些传感器产生的数据可以达到60到70个通道的高频数据进入流处理系统。

通过实时处理信息，SigmaStream 使操作员能够对这些数据流执行并立即对数据采取行动，以防止出现故障和延迟。第三代流引擎，加上处理和分析数据的正确工具，允许操作员通过对钻机数据的流分析来监控几乎察觉不到的振动。通过微调调整，SigmaStream 客户已节省数百万美元，并将现场时间减少多达 20%。

在当今的数字时代，延迟是新的停机时间。对于希望更快地处理信息、更快地执行操作并以新数据到达的速度处理新数据的组织而言，流处理是合乎逻辑的下一步。通过将流处理引入主流应用程序，组织可以在一个由新型超高性能应用程序主导的世界中茁壮成长，并提供具有时间敏感性的信息以满足不断增长的期望。

作者是 Hazelcast 的 CEO Kelly Herrell