为什么将连续数据回传到云的成本比您想象的要高
在制造、交通、电信、公共安全等日益受到实时决策驱动的行业中,数据不再是偶尔批量创建的。它来自传感器、机器、移动资产和数字应用程序,持续且大规模地到来。虽然将数据集中在云或数据中心进行分析曾经看似高效,但当今数据流的数量、速度和重要性已经暴露出传统回程优先方法的严重局限性。
多年来,经常处理此类数据流并希望使用这些数据进行实时洞察的组织一直将数据分析转移到创建数据的边缘。随着数据量和数据生成速度的增长,许多组织越来越多地为其边缘系统赋予高级智能,以根据分析得出的实时和近实时见解自适应地采取行动。
另请参阅: 超越延迟:自适应边缘智能的下一阶段
回传数据的局限性
当数据量和数据生成速率不大时,将数据回传到集中式设施已经有实际应用了几十年。数据将被存储和分析,以便立即采取行动或了解历史趋势。
该模型不再适用于拥有大量连续流数据的行业。受影响的一些行业包括:
- 金融服务组织试图对源源不断的交易数据流采取行动。
- 制造公司试图了解生产线上设备的物联网和其他传感器数据。
- 在线零售商试图抓住时机,在其网站上向客户展示相关商品。
- 自动驾驶车辆尝试解读视频流以避开道路障碍并遵守交通法规。
在这些情况以及其他情况下,回程数据最直接的挑战之一是网络拥塞 。物联网传感器、高清视频源、自主系统或工业机械等高频数据源每小时可以产生千兆字节甚至太字节的数据。尝试将其集中到中心位置会导致可用带宽紧张,增加成本并降低整体网络性能。带宽升级有所帮助,但扩展性较差,导致成本更高。
然后就是延迟 ,这是实时响应能力的无声杀手。当原始数据必须经过很长的距离才能进行处理时,往返延迟可能会使分析系统对它们采取行动时的见解变得陈旧。在安全关键或时间敏感的场景中,例如公用事业中的故障检测、生产线中的质量控制或运输车队的预测性维护,毫秒至关重要。集中式处理架构根本无法保证确定性的性能。
另一个经常被忽视的问题是成本效率低下 。当持续移动大型数据集时,云存储、数据传输费用和计算资源变得昂贵。许多组织发现他们付费存储和分析冗余、低价值或不相关的数据。事实上,研究通常表明,大多数原始传感器数据从未被使用,但回程时仍然会产生全部运输和存储成本。
安全和隐私风险 也会随着数据量的增加而增长。跨广域网移动未经过滤的数据会扩大攻击面,并且需要严格的加密、监控和合规性控制。位置信息、操作遥测或客户使用模式等敏感数据在跨区域或云边界传输时可能会产生监管影响。对于某些行业来说,仅此一点就使得集中回程变得不切实际。
最后,集中式架构限制了弹性 。如果连接丢失或性能下降,依赖云进行分析的系统可能无法及时做出决策。这在远程采矿作业、海上能源平台、智能电网或运输系统等边缘环境中是不可接受的,这些环境在网络恢复之前无法暂停运行。
仔细研究数据回传问题
简而言之,随着实时系统的激增,分析和决策必须更接近事件源、维护状态、以最小的延迟和完全一致性执行。
最近的 Volt Active Data 博客全面阐述了回传数据的问题,并讨论了自适应边缘智能系统如何消除这些问题。
该博客指出,虽然集中式数据处理提供了一些管理便利,但它也带来了巨大的隐性成本。其中包括传输和存储大型数据集带来的高带宽和存储费用、增加的能源消耗和相关的碳足迹、网络延迟和可靠性挑战(特别是对于实时应用程序),以及当所有处理都依赖于集中式基础设施时出现单点故障的更大风险。
为了克服这些问题,组织正在将智能转移到边缘:处理和过滤更接近数据源的数据,以便只向上游发送有意义的、精简的信息。这种边缘原生模型可以降低传输和存储成本,显着减少延迟,提高运营弹性,并实现更绿色、更可持续的架构。
最后一句话
随着组织在边缘采用更多的自动化、人工智能和自主操作,将所有内容运送到数据中心的模式变得越来越不可持续。未来在于混合和边缘原生架构,其中数据在本地处理,在源头减少或丰富,并且仅将高价值输出或聚合发送到上游。
云计算