现代数据资产：数据湖与数据仓库

2021 年 7 月 27 日 

资料来源：MCA Connect |明天制造

数据以多种形式快速出现在我们面前。这些不同的形式可以包括结构化、半结构化和非结构化数据，但许多人没有意识到数据仓库和数据湖处理数据的方式不同。

现代数据资产应提供多种方法来摄取和存储企业生成的各种数据。数据以多种形式快速出现在我们面前。这些不同的形式可以包括结构化、半结构化和非结构化数据，许多人没有意识到数据仓库和数据湖处理数据的方式不同。让我们进一步看看这些不同类型的数据：

1. 结构化 – 传统数据库，例如具有正式列和表定义的 ERP 或 CRM 系统的事务性数据库<​​/li>
2. 半结构化 – 带有元素和层次结构标签的自描述文件，例如 XML 或 JSON
3. 非结构化 – 图像、视频、音频和其他二进制数据

传统的数据仓库设计已经存在了几十年，而数据湖的概念，或者至少是术语，是一种较新的结构。其中每一个都在您组织的数据资产中占有一席之地。

数据仓库

正如我们在上面看到的，数据源可以非常多样化并且具有不同的数据表示，这可能导致信息不同。此外，当所有业务子系统都需要数据的完整快照时，数据源中的大量模式和结构使得获取整合信息变得困难。总的来说，这是数据仓库解决方案出现的主要原因。

数据仓库是一种正式的设计，通常基于设计指南，该指南为正式的 ETL（提取-转换-加载）过程实施以使用原始的结构化数据集并将它们加载到设计用于报告的模型中。数据仓库建立在关系数据库上，例如 Azure Synapse，以前是 Microsoft SQL Server。 Azure Synapse 旨在将结构化数据存储到具有传统行和列的表中，但确实能够存储 XML 和 JSON 等半结构化数据。

数据湖

数据湖颠覆了 ETL 的概念并实现了 ELT（提取-加载-转换）过程。将数据摄取到数据湖中本质上只是将您认为在某个时候可能有价值的所有内容都放入一个大型存储区域，而不管数据类型或结构如何。数据湖可以存储结构化、半结构化和非结构化数据。 Microsoft Azure 中提供的数据湖基于存储帐户构建，在创建存储帐户时启用了 Data Lake Storage Gen2。

数据湖背后的想法是您希望使用所有数据并在稍后对其进行排序，而数据仓库需要通过大量投资来开发摄取来预先识别价值。由于开发数据仓库通常需要大量的前期投资，如果后来确定您需要最初没有引入的数据，源数据就有可能不再可用并可能永远消失。

目的：未确定与使用中

数据湖中单个数据片的用途不是固定的。原始数据流入数据湖，有时考虑到特定的未来用途，有时只是为了手头。这意味着数据湖与其对应的数据湖相比，组织较少，数据过滤较少。

处理后的数据是已投入特定用途的原始数据。由于数据仓库仅存放已处理的数据，因此数据仓库中的所有数据都已用于组织内的特定目的。这意味着存储空间不会浪费在可能永远不会使用的数据上。

可访问性

可访问性和易用性是指将数据存储库作为一个整体使用，而不是其中的数据。数据湖架构没有结构，因此易于访问和更改。此外，对数据所做的任何更改都可以快速完成，因为数据湖几乎没有限制。

数据仓库在设计上更加结构化。数据仓库架构的一大好处是数据的处理和结构使数据本身更容易破译，结构的局限性使数据仓库操作起来困难且成本高。

两者的好处

数据湖是存储来自多个来源的大量数据的一种经济高效的方式。允许任何结构的数据降低了成本，因为数据更灵活和可扩展，因为数据不需要适合特定模式。但是，结构化数据更易于分析，因为它更清晰并且具有统一的查询模式。通过将数据限制为模式，数据仓库对于分析历史数据以做出特定数据决策非常有效。合适的数据仓库和数据湖对于组织未来的成功至关重要，属于现代数据资产。

什么是数据资产？

建立现代数据资产是迈向数字化转型的基础一步。现代数据资产支持对所有数据进行及时洞察和决策，并为 AI 奠定基础。数据资产是组织拥有的所有数据。当您将这些数据迁移到云端或对本地环境进行现代化改造时，您可以获得重要的洞察力来推动创新。

Microsoft Dynamics 365 预建数据仓库，DataCONNECT

构建数据仓库对于正确审查源系统、设计数据模型和创建必要的 ETL 来处理它可能非常昂贵和耗时。 MCA Connect 为 Microsoft Dynamics AX、Dynamics 365 Finance 和 Customer Engagement 开发了我们的 DataCONNECT 数据仓库解决方案。该解决方案大大加快了交付综合数据仓库解决方案的时间，同时降低了实施成本。这也是开始构建综合数据资产的好方法。

DataCONNECT 可以为组织提供快速、准确的信息，使他们能够准确预测、调整和调整运营。您将能够快速将经过验证的数据提取到预测模型中，从而开始您业务领域的规划周期。如果您想详细了解 DataCONNECT 数据仓库或数据湖如何帮助您的公司存储大数据，请联系我们。我们的一位专家将很乐意为您指明正确的方向。

本文内容和观点均为作者观点，不代表明日制造的观点。