自动化数据质量加速AI与ML成功

过去十年，公司开始掌握并释放人工智能（AI）和机器学习（ML）潜力。虽仍早期，公司开始理解此技术显著影响，助其做更好、更快、更高效决策。

当然，AI和ML非助企业拥抱创新银弹。事实上，这些算法成功仅如其基础好坏——具体指优质数据。

无此，企业将见安装AI和ML目标失败，坏数据不可预见后果在效率和声誉两方面对业务造成不可逆损害。

但另一探索领域待开发：即数据质量能否由自动化和机器学习本身改进维护？

数据质量差风险

从流媒体服务、聊天机器人、告知超市货架陈列、引导主要交通枢纽，ML以十年前不可想象方式影响生活。

但若算法建立在差数据质量基础上工作会怎样？未来风险可能远超推荐不爱看电影严重。

若开始信任机器学习改进药物发现测试，例如，药物配方若化合物化学数据模拟测试有误差会怎样？影响可能严重。

新兴ML应用也可能受差基础数据影响：自动驾驶车辆。从地图地址到车辆如何反应骑车人，教导机器数据对消费者和监管采纳至关重要。

ML算法——帮助解决定义问题规则和计算集——能支持数据质量改进或被不准确数据误导，若构建时未考虑差数据可能性。

自动化数据质量

如任何数字化转型，从手动到自动化再"智能"数据质量管理需长期规划。Experian确定数据管理进展四阶段，称数据管理成熟度曲线。不知情、被动、主动、优化治理反映跨数据质量策略完整周期四阶段。

评估揭示稳步进展成熟度曲线，组织开始释放所持数据潜力、更重视。最引人入胜，处优化治理阶段者，可能见另一层级开端，可称"智能自动化"。

"智能自动化"指系统和流程就绪帮助数据质量责任人识别最大关切。我们现在应定期回顾关键绩效指标识别数据质量趋势，或关键属性整体完成率、监控数据接收或加载阶段时序顾虑。但真正理解数据质量需深入内容。

例如，为满足第三方数据要求99%案例收集出生日期够吗？当大比例收集日期系统衍生非真实出生日期？这能引起真实问题，非预期后果波及决策过程。

下一步

大多数数据质量项目已含自动化和试错元素。此演进下阶段是用机器学习自动识别和响应不同数据类型——"智能自动化"。

例如，数据管理工具能识别地址、邮箱、信用卡号、国民保险号等标准信息，极少预训练或规则编写前采取验证条目或向经理标记合规问题等行动。

终极目标是数据质量ML随时间自我改进。公司名好例——Tesco PLC同Tesco Stores Ltd吗？Tesco集团部分无'Tesco'字公司名呢？

商业实体分组可简单找名，或复杂看公司账户细节、总部地址、CEO名、网址和其他元数据找全球关联。

这些假设是强数据策略可支持业务挑战。然而，能否移至自动化此学习、随真实世界数据变化可见为异常或离群值建议改进、随时间用更少人工改进数据质量，给数据人员更多时间分析支持业务？

那是ML挑战——采用数据质量基础规则、实施、随真实世界数据变化可见为异常或离群值建议改进。新兴主题，预期未来几年大量发展。

你的数据策略

根本上，每个ML例子依赖适合目的数据——若非，数据和因此因其做决策不可信。

避免此，组织需确保稳健数据策略。思考开展ML理由；想达成可解释结果和避免什么？

然后，通过初始评估你数据感检现有质量，组织能行动并规划还需什么改进整体数据质量。

能识别追踪通过ML——及所有自动化决策过程——做决策至关重要，若要成功采纳实施。

持续监控数据质量也关键。做此能快速识别需关注领域、确信在现有和潜在ML计划最佳位置。

然后，组织将处位置让ML使其更高效管理数据质量，使决策过程更快更好。

推至逻辑结论，用机器学习帮助识别那些隐藏至成真实问题数据关切。若能训练模型识别能影响下游决策或流程关键属性、监控波动或担忧模式，甚至能预测这些数据关切对业务影响。

例如，若知卧室数直接影响业务决策、建立该字段不完整或近似数据到一定恶化规模，能否基于知数据用处预测租金收入估算、抵押估值、或供暖消耗预测？

此增长数据质量关切影响，能助建立业务案例现在而非成真实问题时修正。