准备物联网数据的三大挑战

Trifacta 的 Sean Kandel

物联网 (IoT) 已经深入我们的日常生活——从可穿戴设备和智能手表到联网电视和智能家电。

企业也在利用这项技术。 Trifacta 的首席技术官兼联合创始人 Sean Kandel 说，在 B2B 环境中 , 联网设备是指用于跟踪从机器性能到维护要求的所有内容的机器和传感器。

例如，可能会在生产线上找到传感器设备来跟踪机器的准备情况并自动预测性维护 .或者，医院可能会使用 IoT 设备进行远程患者监控、机器人手术或配药。

所有这些不断增长的传感器、设备和其他连接的“事物”最终都意味着更多的数据。而且很多。但是，随着数据的增多，准备工作也面临着更复杂的挑战。为了利用物联网和大数据的价值——并提供创新驱动的洞察力——工业组织必须快速准备所有这些不同的非结构化数据。下面，我们列出了准备 IoT 数据以将其用于分析的三大挑战中的一些。

1.海量数据

国际数据公司 (IDC) 市场研究估计，到 2020 年，物联网设备将创建 40,000 EB 的数据。从这个角度来看，2000 年，全球创建了 3 EB 的信息。需要准备大量数据——在许多当前流程下，组织将无法跟上。这在工业领域尤其具有挑战性，制造商和其他大型工业组织通常会从机器、传感器和内部业务应用程序中收集数十亿个数据集。

在任何数据项目中，数据准备仍占高达 80% 的时间和资源，您添加的数据越多，该过程将变得越耗时。随着组织采取新的物联网数据计划，他们必须考虑采用新技术和流程，以便跟上大量涌入的数据。

2.复杂性

准备物联网数据的另一个挑战是其复杂性。通常，组织不仅必须准备时间戳或地理标记数据，还必须将其与更结构化的源（例如 csv 文件）结合使用。仅当考虑到生成数据的速率时，这种复杂性才会成倍增加。

找到这个问题的解决方案是很棘手的。组织内可以处理这种复杂性的技术资源通常是有限的，扩展这些资源的成本很高。使用 Excel 等常见的数据准备工具无法处理这种复杂性，这使得熟练的分析师无法处理这些数据。今天的组织必须想办法利用他们拥有的资源来准备日益复杂的物联网数据。

3.互操作性

商业计算机系统（包括硬件和软件）并不是用来交换或处理从传感器和连接设备中提取的大量复杂信息的。很难将机器生成的数据与来自业务应用程序（例如 Salesforce 和 Marketo）以及其他数据存储库的数据进行快速集成和丰富。因此，当今的组织必须寻找能够更好地让数据相互交流的解决方案，以便可以利用整个组织的数据。

物联网计划的数据准备平台

许多率先实施物联网计划的组织已转向现代数据准备平台来缓解这些挑战。借助智能数据准备平台，Trifacta 的一些客户发现准备数据的时间减少了 90%，同时还允许非技术资源自行准备大量复杂数据。此外，我们还与 Sumo Logic 合作 为客户提供使用业务应用程序数据准备复杂日志数据的解决方案。

例如，一家大型欧洲铁路公司正在使用 Trifacta 来准备传感器数据，这些数据是通过监控 32,000 英里铁路轨道上的 8,000 辆机车生成的，以预测它们何时需要维护。在采用 Trifacta 之前，该公司正在为多人临时准备这些数据，并使用许多不同的工具，这最终延迟了分析和他们对必要维修的响应。现在，这家公司可以100%准备复杂的传感器数据，并迅速减少了准备数据的时间。

另一位客户 Kuecker Logistics Group (KLG) , 正在使用 Trifacta 平台准备从世界上最大的零售商拥有的仓库生成的大量传感器数据。这些客户拥有广泛而复杂的供应链运营，链条中的一个错误或低效的环节可能会导致下游连锁反应。

通过使用智能数据准备平台，Kuecker 能够在不聘请昂贵的开发人员的情况下扩展数据准备流程，这大大提高了他们的效率。现在，他们正在准备客户仓库数据，并更快地确定需要在仓库内进行的必要更改。

结论

物联网数据是一个令人兴奋的机会，但它的好处只有通过适当的数据准备策略才能实现。组织必须为其团队配备数据准备平台，以处理物联网数据的数量和复杂性，并了解如何将这些数据与整个组织的其他来源合并。通过采用智能数据准备解决方案，物联网和大数据的世界不再不堪重负。传感器数据成为创新的关键，而非阻碍。

作者是 Trifacta 的首席技术官兼联合创始人 Sean Kandel。