第三代流处理：将物联网数据转化为实时行动
Hazelcast的Kelly Herrell
数字化前时代，IT团队利用数据仓库、分析平台、各类数据库系统等数据管理工具捕获保存信息供未来分析。
今天，物联网设备以前所未有速度生成和流式传输数据。物联网中的"Things"——传感器、移动应用、联网车辆——创造爆炸性信息量。加上网络效应，价值随连接用户数缩放，清晰可见为何IDC预测物联网市场明年达7450亿美元（约6650亿欧元），2022年超1万亿美元（约0.89万亿欧元）。
此大趋势下，传统对历史数据的重视让位于流数据的时间价值。流式范式中，价值直接系于即时性，两因：
- 差异性：如水分子穿过水管，流经网络的每个数据快照都是唯一的。
- 易逝性：洞察的行动窗口常在数据生成后短暂蒸发。
这些概念意味着流中检测到的突变要求即时行动——无论是实时人脸识别预警，还是钻井传感器检测异常振动，若不立即处理可能导致灾难性故障。
在当今快节奏世界，物联网和流数据加速变革步伐，重塑信息处理方式。流处理本身也在快速演进。
两代，同困境
第一代流处理严重依赖复杂Hadoop基础架构内的批处理。数据被收集、存储、延迟后才流入处理引擎。复杂性与延迟结合使该方法基本不适用。
第二代引入微批次，缩减批量以减少处理时间。但底层复杂性犹存，每个微批次建立延迟仍意味着变化识别时已成历史。
第三代流处理
IT组织面临明确挑战：如何实时摄取处理流数据，将原始数据转化为"当下"可执行洞察，无批处理系统开销？答案在于轻量级、非批次中心、足够小以运行于数据源附近甚至嵌入其中的软件。
一二代引擎需多组件，占用空间太大不适合大多数边缘和物联网环境。轻量引擎可部署在源头，消除跨网络发送整个流处理的需求。这种邻近性大幅降低延迟、解决易逝性挑战。
第三代流处理能大规模处理实时原始数据，即时交付洞察、赋能行动以捕捉实时信息转瞬即逝的价值。
流处理实战
钻井平台是能源行业典型象征，运营成本高、任何停机严重影响利润。预防性洞察可大幅减损。
SigmaStream专精钻井高频数据流。其平台装载数十传感器捕捉微小振动。量级可达60-70高频通道进入流处理系统。
实时处理此数据，SigmaStream让操作员即时行动——动态调整钻井参数——防故障停机。结合第三代流引擎和正确分析工具，操作员可监测近乎不可察觉的振动。结果：客户节省数百万美元、现场时间减少达20%。
数字时代，延迟是新停机。流处理是组织需更快摄取信息、赋能更快行动、满足实时数据增长需求的逻辑下一步。主流化流处理让企业在超高性能应用主导的世界中繁荣，交付满足升级期望的时效性信息。
作者：Kelly Herrell，Hazelcast CEO
物联网技术