用数据获取优势 关于数据
随着物联网数据成为企业业务运营中更重要的一部分,减少数据分析和处理延迟的能力会产生影响。它将实时的承诺提升到了一个新的水平。
有大量数据在物联网网络中移动,以至于识别和定位具有重要意义的数据可能会减慢速度。元数据——关于数据的数据——是数据王国的关键,尤其是在索引和识别非结构化数据时。正如数据可以压倒企业功能一样,元数据可以进一步减慢速度。
在最近的 IEEE 边缘计算会议上提出了一项新提案,
提供了一种方法来解决在许多应用程序域中分配 TB 元数据的问题——他们称之为“高效和可扩展的元数据”,这个术语在前边缘、批处理时代甚至是不必要的。
伊利诺伊大学的 Bing Zhang 和布法罗大学的 Tevfik Kosar 的研究人员提出了一种解决方案,可以以更快、更有效的方式在物联网网络中移动元数据。他们还设计了一种方法来缓存和预测跨网络的元数据访问,这可能会减少数据访问和移动的延迟。 “我们从真实审计跟踪中重放了大约 2000 万次元数据访问操作,其中我们的系统在预取预测期间实现了 80% 的准确度,与最先进的机制相比,平均提取延迟减少了 50%。”
另见: 德勤报告详述数据现代化挑战范围
“超过 50% 的 I/O 操作是由于元数据密集型
计算和读取文件属性的请求在所有工作负载中占主导地位,”Zhang 和 Kosar 表示。他们说,更积极的预取例程——将数据从存储移动到临时内存以预测即将到来的用户请求——可以比实际数据本身更好地处理元数据。
作者使用来自 Yahoo! 的 Yahoo Hadoop 网格跟踪日志测试了这种架构。 Webscope 数据集,由 2010 年 Hadoop 名称节点的每日连续元数据操作组成。与其他最先进的机制相比,该系统实现了“80% 的元数据操作预测率,并将平均获取延迟降低了 50%”,他们报告。 “这对物联网网络很友好,计算和存储能力有限的物联网设备可以实现与邻近边缘/雾计算节点相同的平均获取延迟。”
随着物联网数据成为企业业务运营中更重要的一部分,减少数据分析和处理延迟的能力会产生影响。它将实时的承诺提升到了一个新的水平。
物联网技术