Ascend 预览工具可简化数据管道管理

可查询数据流将显着减少当今与管理 DataOps 相关的大部分手动开销。

最使 IT 变得没有任何人想要或欣赏的敏捷的事情之一就是手动构建数据管道的所有时间和精力。首先构建这些管道不仅是一项挑战，而且破译它们的工作方式和实施方式可能需要数天甚至数周的时间。

为了更简单地修改现有数据管道，Ascendis 现在提供了一种工具的技术预览，该工具允许 IT 团队直接针对使用该公司最近推出的自治数据流服务构建的数据管道发起查询，这使得使用声明性工具创建管道变得更加简单托管在公共云上的 Apache Spark 内存计算框架，由 Amazon Web Services (AWS)、Microsoft 或 Google 提供。

另请参阅： DataOps：数据管道拥塞的解药

Ascend 首席执行官 Sean Knapp 表示，这项被称为 Queryable Dataflows 的新功能将显着减少当今与管理 DataOps 相关的大部分手动开销。

可查询数据流使 DataOps 团队可以在构建大型原始数据集时逐步探索和分析它们。该功能不仅可以更简单地更快地构建新管道，还可以用于确保结果是准确的结果，然后再将数据暴露给下游应用程序。

管道现在能够以一种从数据仓库中卸载这些活动的方式来处理登台和探索。此外，交互式查询可以作为自治数据流服务中的阶段立即投入生产，以消除重新编码和重新处理。

可查询数据流还有助于优化运营分析和报告。数据分析师和科学家还可以直接连接到管道阶段，而无需先将数据加载到仓库中，这意味着他们可以使用自己喜欢的工具来访问数据。

相比之下，前几代用于管理数据管道的工具只不过是美化的作业调度程序，Knapp 说。

DataOps 作为一门 IT 学科承受着越来越大的压力，因为 IT 环境中发生的变化速度已经加快。部分由于 DevOps 流程和微服务的兴起，需要优化或更新数据管道的速度呈指数级增长。 Knapp 表示，手动更新数据管道将在 DataOps 和 DevOps 之间产生一些非常可预测的摩擦点。

“DataOps 和 DevOps 需要协调一致，”Knapp 说。

事实上，这种不和谐导致开发人员经常尝试通过使用开源数据库来构建应用程序来最终运行内部 IT 团队，结果发现随着时间的推移数据库无法扩展以满足应用程序的需求。然后，他们最终不得不重新与内部 IT 团队合作，将该应用程序迁移到 ApacheSpark 或其他数据库等平台上。

目前尚不清楚 DataOps 和 DevOps 有一天会在何种程度上融合。目前，这两个领域很可能仍然是属于自己的领域。然而，同样非常清楚的是，DataOps 流程需要改进到数据管道的构建不再是阻碍 IT 现代化的主要瓶颈的地步。