优化文件数据进云数据湖：企业实战指南

云数据湖策略是数据密集型企业IT组织上云的自然演进，它将云从廉价数据存储柜提升为可挖掘新价值、实现变现的场所。

若2020-2021是云加速年，2022将是企业认真将非结构化文件数据引入云数据湖之年。背后有几个原因。第一，组织坐拥PB级非结构化数据，占全球存储64 ZB（且增长中）数据至少80%。多为文件数据——医学影像、流媒体视频、电动汽车与IoT产品传感器数据、各行业协作办公文档。

第二，文件数据变得不可管、存储昂贵，CIO知晓坐拥潜在洞见金矿，若能弄清如何置入正确分析位置。最后，主流云平台大力投资分析/ML/AI工具与低成本对象存储层级支持数据湖项目。

另请参阅： 数据湖、时序数据与工业分析

数据湖向云成熟演进

启用数据湖是IT管理者优先目标之一，与安全、成本管理、可见性并列，据我们近期研究。云颠覆传统数据湖策略，始于企业想分析CSV、日志等半结构化数据。2006年Hadoop诞生，恰逢大数据对话兴起广泛采纳。但Hadoop最终证明比预期慢且贵，搭建扩展管理复杂，主要面向批处理。Apache Spark登场解决这些问题，某些负载快达100倍、适合实时分析。关键是Databricks等公司专注云上运行Spark，而Hadoop主要部署在本地。

近几年云原生数据湖平台成熟，现已就绪。云提供商更便宜的规模化对象存储提供平台，支撑本地根本不可行的PB级项目。下一代数据湖建于Apache Spark，支持S3或对象存储，使摄入处理半结构化与非结构化数据成为可能。文件存储也在向云过渡，需作为云数据湖一部分被利用，所以非所有数据都在对象存储中。

云数据湖策略是数据密集型企业IT组织上云的自然演进，它将云从廉价数据存储柜提升为可挖掘新价值、实现变现的场所。

如何驯服云数据湖

云数据湖仍早期，但将文件数据纳入数据湖势在必行，因ML模型需大量文件数据产生有意义结果。但这非结构化数据在文件类型间无标准化：视频、音频、传感器数据、日志无共同结构。将所有文件数据随意倾倒进云数据湖平台非明智策略，而是日后清理的烂摊子。尽管前景诱人，数据湖风险多：高管理成本、技能缺口、安全治理担忧、云间存储平台移动数据可移植性问题、数据过大过乱成沼泽难搜索分析的长期忧虑。

踏上将文件数据引入云数据湖之旅，以下考量可避免或最小化困境。

1. 优化数据湖。 数据分析前必须清洗、标准化、分类，这可能是高度人工过程导致成本超支与价值时间慢。这一直是数据仓库倡议挑战，同适用于数据湖与湖仓一体。数据湖吸引力在于能原生格式摄入数据；入湖前优化破坏此易用性。如何在不改变用户行为前提下自动优化文件数据？关键在元数据：文件类型、创建/最后访问日期、所有者、项目、位置信息。自动基于元数据属性索引标记文件，将避免数据沼泽问题，使后续搜索分段更易，而非留数据湖无人管。
2. 用元数据索引精准定位特定需求数据集。 能跨存储（含本地、边缘、云）索引文件搜索元数据的工具，可将数十亿文件缩减至数千，仅发送你想分析的精准文件上云。
3. 边走边标记数据以提升可搜索性与可用性。 找到所需文件后，可用ML系统进一步用更多标签细化搜索。此过程必须持续自动化，随时间发展额外结构，带来更易搜索与更高整体质量。
4. 兼容边缘。 随边缘计算因传感器数据、流数据新用例增长，从边缘流式传输数据将变得不可持续。如何在边缘处理更多数据仅取所需进云数据湖？边缘预处理将随边缘数据量增长变得更关键。
5. 按行业建立分类法。 无各行业标准标签命名法。拥有按行业通用标签分类将使数据更易搜索提取，尤其在科研生命科学等协作环境。
6. 解决数据流动性。 真正流动，数据应能驻留于混合云环境不同系统，同时原生访问那些环境中的服务。从专有存储系统解锁数据将控制权还给IT，消除平台间移动数据的费用与麻烦。数据使用访问方式与价值随时间变。通过为数据未来护航，你能适应变化与新需求。独立数据流动与管理解决方案可助于此。
7. 建立正确文化。 领先IT组织持续认定文化——人、流程、组织、变革管理——是成为数据驱动组织的最大障碍，据2021年New Vantage Partners研究。数据驱动文化需跨越分析师与业务线，延伸至IT基建团队。IT领袖需在帮助数据存储、服务器、网络专业人员重新定向责任与日常任务向数据中心决策框架方面发挥作用。工具与流程应跨职能，允许组织数据资产全景视图与围绕管理这些资产获取组织收益的策略协作。

云数据湖因能原生格式摄入数据无需数据仓库大量预处理而流行。反面是数据湖成数据沼泽，尤其中非结构化文件数据，因无共同结构。随AI/ML引擎依赖文件数据崛起，分析文件数据愈发关键。云数据湖可通过自动化索引、搜索、收集、优化文件数据，在不破坏原生摄入吸引力前提下为非结构化数据优化。