数据湖与数据仓库：构建现代数据资产

2021 年 7 月 27 日

来源：MCA Connect | Manufacturing Tomorrow

数据来势汹汹且形式多样。这些形式包括结构化、半结构化、非结构化数据，许多人未意识到数据仓库与数据湖处理数据方式不同。

现代数据资产应提供多种摄入与存储方式，以应对企业生成的各类数据。数据来势汹汹且形式多样。这些形式包括结构化、半结构化、非结构化数据，许多人未意识到数据仓库与数据湖处理数据方式不同。让我们进一步了解这些数据类型：

1. 结构化——传统数据库，如 ERP 或 CRM 系统的事务数据库，具有正式列与表定义
2. 半结构化——如 XML 或 JSON 文件，自描述、带元素与层级标签
3. 非结构化——图像、视频、音频及其他二进制数据

传统数据仓库设计存在数十年，而数据湖概念或至少术语是较新构建。二者在组织数据资产中各有定位。

数据仓库

如上所示，数据源极其多样且表征不同，易导致信息分歧。此外，数据源中大量模式与结构使得从所有业务子系统获取完整数据快照以实现整合信息变得困难。这通常是数据仓库方案出现的主要原因。

数据仓库是正式设计，常基于设计准则实施正式 ETL（抽取-转换-加载）流程，消费原始结构化数据集并加载至为报告设计的模型。数据仓库建立在关系数据库之上，如 Azure Synapse（前身 Microsoft SQL Server）。Azure Synapse 设计用于将结构化数据存入传统行列表，但也具备存储 XML、JSON 等半结构化数据能力。

数据湖

数据湖颠覆 ETL 概念，实施 ELT（抽取-加载-转换）流程。摄入数据湖本质上是将您认为未来可能有价值的所有数据——不论类型或结构——扔进大型存储区。数据湖可存储结构化、半结构化、非结构化数据。Microsoft Azure 交付的数据湖建立在存储账户上，创建存储账户时启用 Data Lake Storage Gen2。

数据湖背后的思想是：您想消费所有数据，稍后再分拣，而数据仓库要求在大量前期投资开发摄入流程时就确定价值。因开发数据仓库通常需巨大前期投资，若后续发现需要最初未摄入的数据，源数据可能不再可用、永远丢失的风险存在。

目的：未定 vs 在用

数据湖中单个数据片段的目的不固定。原始数据流入数据湖，有时心中有特定未来用途，有时仅为备用。这意味着数据湖比对应物组织度更低、过滤更少。

处理后数据是被用于特定用途的原始数据。因数据仓库仅存放处理后数据，数据仓库中所有数据均在组织内用于特定目的。这意味着存储空间不浪费在可能永不使用的数据上。

可访问性

可访问性与易用性指数据存储库整体而非内部数据。数据湖架构无结构，因此易访问、易变更。且对数据的任何更改可快速完成，因数据湖限制极少。

数据仓库设计上更结构化。数据仓库架构主要优势是数据处理与结构使数据本身更易解读，但结构限制使数据仓库难以操作且成本高昂。

两者的优势

数据湖是以具成本效益方式存储来自多源大量数据的途径。允许任意结构数据降低成本，因数据更灵活可扩展，无需符合特定模式。但结构化数据更易分析，因更整洁、有统一模式可查询。通过限制数据符合模式，数据仓库对特定决策的历史数据分析极高效。完善的数据仓库与数据湖均对组织未来成功至关重要，属于现代数据资产组成部分。

什么是数据资产？

建立现代数据资产是数字化转型的基础步骤。现代数据资产跨所有数据实现及时洞察与决策，为 AI 奠基。数据资产是组织拥有的所有数据。将这些数据迁移至云或在本地现代化环境，可获得推动创新的重要洞察。

Microsoft Dynamics 365 预构建数据仓库：DataCONNECT

构建数据仓库审查源系统、设计数据模型、创建必要 ETL 处理极其昂贵耗时。MCA Connect 为 Microsoft Dynamics AX、Dynamics 365 Finance 与 Customer Engagement 开发了 DataCONNECT 数据仓库方案。该方案大幅加速全面数据仓库交付时间线、降低实施成本。也是开始构建全面数据资产的绝佳途径。

DataCONNECT 以快速、准确信息赋能组织，赋予其精准预测、适应、塑造运营能力。您能快速拉取验证数据进预测模型，从而启动业务领域规划周期。若想了解 DataCONNECT 数据仓库或数据湖如何助贵公司存储大数据，请联系我们。专家将乐意指引正确方向。

本文内容与观点为作者所有，不一定代表 Manufacturing Tomorrow 观点。