如何开始将机器学习融入企业领域
世界早已经历了工业革命,现在我们正在经历数字革命时代。机器学习、人工智能和大数据分析是当今世界的现实。
我最近有机会与 Talend 产品高级副总裁 Ciaran Dynes 和 Datalytyx 董事总经理 Justin Mullen 进行了交谈。 Talend 是一家为企业提供大数据解决方案的软件集成供应商,而 Datalytyx 是大数据工程、数据分析和云解决方案的领先供应商,可在整个企业中实现更快、更有效和更有利可图的决策。>
大数据运营的演进
为了更多地了解大数据运营的演变,我向 Justin Mullen 询问了他的公司五年前面临的挑战以及他们为什么要寻找现代集成平台。他回答说:“我们面临着与客户面临的类似挑战。在大数据分析之前,我称之为
他回答说:“我们面临着与客户面临的类似挑战。在大数据分析之前,我称之为“困难数据分析”。 有大量来自本地系统的手动聚合和数据处理。然后,我们可能面临的最大挑战是在应用可用的不同分析算法来分析原始数据并以有意义的方式将结果可视化以供业务理解之前集中和信任数据。”
他进一步补充说:“我们的客户不仅希望进行一次这种分析,而且还希望在几个月和几年内持续更新 KPI 性能的更新。通过手动数据工程实践,我们很难满足客户的要求,因此我们决定需要一个强大且值得信赖的数据管理平台来解决这些挑战。”
数据科学的出现
大多数经济学家和社会科学家都关注正在接管制造和商业流程的自动化。如果数字化和自动化继续以目前正在发生的速度增长,那么机器很可能会部分取代劳动力中的人类。我们在当今世界看到了一些现象的例子,但预计在未来它会更加突出。
然而,Dynes 说:“数据科学家正在为当今各个部门面临的错综复杂的问题提供解决方案。他们正在利用数据分析中的有用信息来理解和解决问题。数据科学是一种输入,输出以自动化的形式产生。机器自动化,但人类提供必要的输入以获得所需的输出。”
这在人类和机器服务的需求之间创造了平衡。自动化和数据科学都是并行的。一个过程没有另一个是不完整的。如果原始数据不能被操纵以产生有意义的结果,那么它就毫无价值,同样,如果没有足够的相关数据,机器学习就不会发生。
将大数据融入商业模式
Dynes 说:“企业正在意识到数据的重要性,并将大数据和机器学习解决方案融入到他们的商业模式中。”他进一步补充说:“我们看到自动化无处不在。这在电子商务和制造领域很明显,在手机银行和金融领域有着广泛的应用。”
当我问他对机器学习流程和平台需求转变的看法时,他补充说:“需求一直存在。五年前和现在的数据分析同样有用。唯一不同的是,五年前有企业垄断,数据被秘密存储。谁拥有数据,谁就拥有权力,而只有少数知名市场参与者可以访问数据。”
贾斯汀曾与不同的公司合作过。他最著名的一些客户是 Calor Gas、Jaeger 和 Wejo。在谈到这些公司在实施高级分析或机器学习之前面临的挑战时,他说:“我的大多数客户面临的最大挑战是将基本数据积累在一个地方,这样复杂的算法可以同时运行,但结果可以在一处查看以便更好地分析。数据管道和数据管道对于使数据洞察变得连续而不是一次性至关重要。”
快速数字化的原因
Dynes 说:“我们正在经历快速的数字化,主要有两个原因。在过去的几年里,这项技术以指数级的速度发展,其次,组织文化也发生了巨大的变化。”他补充说:“随着开源技术和云平台的出现,数据现在更容易访问。现在,越来越多的人可以访问信息,并且他们正在利用这些信息为自己谋取利益。”
除了技术的进步和发展,“进入劳动力市场的新一代也依赖于技术。他们在日常琐碎的工作中严重依赖这项技术。他们对透明的沟通更加开放。因此,更容易收集这一代人的数据,因为他们已经准备好谈论他们的意见和偏好。他们已经准备好提出和回答不可能的问题,”Dynes 说。
在谈到公司在选择大数据分析解决方案时面临的挑战时,马伦补充道:“行业目前在采用机器学习时面临的挑战是双重的。他们面临的第一个挑战与数据收集、数据摄取、数据管理(质量)和数据聚合有关。第二个挑战是解决在数据工程、高级分析和机器学习方面缺乏人类技能的问题”
Dynes 说:“你需要将新世界与旧世界融合。旧世界严重依赖数据收集,而新世界则主要关注数据解决方案。当今行业中能够同时满足这两个要求的解决方案非常有限。”
他总结说:“数据工程的重要性不容忽视,机器学习就像潘多拉的盒子。它的应用广泛应用于许多领域,一旦您将自己确立为优质供应商,企业就会为您提供服务。这是一件好事。”
在 Twitter 和 LinkedIn 上关注 Ciaran Dynes、Justin Mullen 和 Ronald van Loon,了解有关大数据解决方案和机器学习的更多有趣更新。
物联网技术