亿迅智能制造网
工业4.0先进制造技术信息网站!
首页 | 制造技术 | 制造设备 | 工业物联网 | 工业材料 | 设备保养维修 | 工业编程 |
home  MfgRobots >> 亿迅智能制造网 >  >> Industrial Internet of Things >> 物联网技术

Ascend预览新工具:可查询数据流大幅简化DataOps管道管理

可查询数据流将显著削减当前管理DataOps的大量人工开销。

让IT远不如预期敏捷的元凶之一:手工构建数据管道耗时费力。不仅初建挑战大,解读其运作与实现更耗费数天数周。

为简化现有管道修改,Ascend现提供技术预览工具,允许IT团队直接对基于公司新发布的自主数据流服务构建的数据管道发起查询。该服务基于Apache Spark内存计算框架,托管于AWS/Azure/GCP公有云,通过声明式工具简化管道创建。

延伸阅读: DataOps:拥堵数据管道的解药

Ascend CEO Sean Knapp称:可查询数据流大幅削减DataOps管理人工开销。

DataOps团队可在构建过程中增量探索画像大规模原始数据集。该能力不仅加速新管道构建,还可在暴露数据给下游应用前验证结果准确性。

管道现可处理暂存与探索,卸载数据仓库该类活动。交互式查询可直接转为自主数据流服务内的生产阶段,消除重写与重处理。

可查询数据流亦优化运营分析与报表。分析师与数据科学家可直连管道阶段,无需先入库,自由使用偏好工具访问数据。

Knapp言:前代管道工具不过是美化的作业调度器。

DataOps作为IT学科面临压力激增,因IT环境变化率加速。得益于DevOps与微服务兴起,管道优化更新频率指数级上升。手工更新管道将在DataOps与DevOps间制造可预测摩擦点。

“DataOps与DevOps需要协同。”——Knapp

缺乏协同导致开发者常绕过内部IT用开源数据库建应用,后发现无法扩容,被迫回头迁移至Spark等平台。

DataOps与DevOps是否终将融合尚不明确。目前两领域可能各自为政。但显而易见:DataOps流程必须改进,使管道构建不再成为IT现代化主要瓶颈。

物联网技术

  1. 机器学习加速管道安全:实时故障检测挽回千万损失
  2. 优化制动系统开发:博思冬季测试中的IoT数据管理
  3. 用CMMS精益工单管理,大幅提升运营效能
  4. 解锁Sinumerik 840D:掌握$TC_DP刀具数据变量实现精准编程
  5. 瑞萨PMIC参考设计简化Xilinx FPGA电源管理
  6. 为何Telia为其智能家居生态系统选择Neo4j图数据库
  7. 数据管理:成功AI的基石
  8. 运营大脑:工业物联网下一代数据管理范式
  9. 工业物联网:重塑设施管理实现可持续效率
  10. 企业必须攻克的三大数据隐私挑战 (2021-23)
  11. 全球调查:数据增长速度超越管理能力,企业面临「暗数据」困境
  12. 2022业务领袖为何必须优先部署数据织构