Ascend预览新工具:可查询数据流大幅简化DataOps管道管理
可查询数据流将显著削减当前管理DataOps的大量人工开销。
让IT远不如预期敏捷的元凶之一:手工构建数据管道耗时费力。不仅初建挑战大,解读其运作与实现更耗费数天数周。
为简化现有管道修改,Ascend现提供技术预览工具,允许IT团队直接对基于公司新发布的自主数据流服务构建的数据管道发起查询。该服务基于Apache Spark内存计算框架,托管于AWS/Azure/GCP公有云,通过声明式工具简化管道创建。
延伸阅读: DataOps:拥堵数据管道的解药
Ascend CEO Sean Knapp称:可查询数据流大幅削减DataOps管理人工开销。
DataOps团队可在构建过程中增量探索画像大规模原始数据集。该能力不仅加速新管道构建,还可在暴露数据给下游应用前验证结果准确性。
管道现可处理暂存与探索,卸载数据仓库该类活动。交互式查询可直接转为自主数据流服务内的生产阶段,消除重写与重处理。
可查询数据流亦优化运营分析与报表。分析师与数据科学家可直连管道阶段,无需先入库,自由使用偏好工具访问数据。
Knapp言:前代管道工具不过是美化的作业调度器。
DataOps作为IT学科面临压力激增,因IT环境变化率加速。得益于DevOps与微服务兴起,管道优化更新频率指数级上升。手工更新管道将在DataOps与DevOps间制造可预测摩擦点。
“DataOps与DevOps需要协同。”——Knapp
缺乏协同导致开发者常绕过内部IT用开源数据库建应用,后发现无法扩容,被迫回头迁移至Spark等平台。
DataOps与DevOps是否终将融合尚不明确。目前两领域可能各自为政。但显而易见:DataOps流程必须改进,使管道构建不再成为IT现代化主要瓶颈。
物联网技术