元数据驱动洞察加速IoT性能:将实时性推向新高度
随着IoT数据成企业运营核心,降低数据分析与处理延迟至关重要。这将实时性承诺推向新高度。
IoT网络海量数据流转,识别定位关键数据可能拖慢节奏。元数据——数据关于数据——是数据王国钥匙,尤对非结构化数据索引识别。正如数据可淹没企业职能,元数据甚至更拖后腿。
近期IEEE边缘计算会议新提案,针对众多应用领域分配TB级元数据问题——提出“高效可扩展元数据”,此术语在前边缘批处理时代甚至无需存在。
伊利诺伊大学Bing Zhang与布法罗大学Tevfik Kosar提出方案:更高效快速跨IoT网络移动元数据;设计跨网络元数据访问缓存与预测机制,潜在降低数据访问与移动延迟。“我们从真实审计追踪重放约2000万元数据访问操作,系统预取预测准确率80%,平均获取延迟较最先进机制降50%。”
延伸阅读: Deloitte报告详述数据现代化挑战范围
已有“所有I/O操作50%+源于元数据密集型计算,读文件属性请求主导所有负载”,Zhang与Kosar指出。更激进预取例程——预判用户请求将数据从存储移入临时内存——对元数据比实际数据更有效。
作者用Yahoo Hadoop网格追踪日志(Yahoo! Webscope数据集,2010年Hadoop NameNode连续每日元数据操作)测试此架构。系统达“元数据操作80%预测率,平均获取延迟较最先进机制降50%”。 “这对IoT网络友好:算力存储受限IoT设备可达邻近边缘/雾计算节点同等平均获取延迟。”
随IoT数据成企业运营核心,降低分析处理延迟可成差异化关键。将实时性承诺推向新高度。
物联网技术