云原生架构赋能随处可用的可扩展数据分析

基于Kubernetes的架构是不可或缺的核心，使数据分析异常灵活，能在业务需要的任何地方运行——并能大规模、高并发、高性能、高效率、高可用地做到这一点。

从金融服务、保险到制造和医疗保健，数千家企业发现需要公有云、私有云、混合云和边缘部署来最适配其数据管理和分析需求。因此，分布式云概念成为云成熟的组成部分。将数据仓库、数据湖和高级分析引入分布式云架构是市场趋势。将此架构扩展至涵盖更高层级的数据管理和分析服务，自然引出“分布式数据云”概念。在分布式数据云中，企业数据仓库不再仅为公司内几百名分析师或数据科学家提供分析，最终将能直接为数以万计的企业终端客户提供实时分析应用。数据将即时可访问——并产出洞察——随处皆可。

另请参阅：2021云采用趋势在2022年放大

探索目的地

“云原生”虽常被提及，但当软件架构从头设计以利用分布式云优势时，它具有真实含义。完全实现的云原生数据仓库应逻辑上利用分布式数据云架构。广义上，这将分析带到数据所在之处（而非将数据移至分析处），规避集中风险，大幅提升效率，并为受控支出和竞争优势引入现代化。

更具体地说，云原生数据管理和分析技术应展现五大关键特征，以契合分布式数据云蓝图：

• 平台无关的运行时，允许在任何地方配置数据和分析
• 任何部署目标上的通用用户体验
• 任何部署目标上的通用安全和治理功能
• 任何地方的成本和技术效率，最小化资源并实现强成本管理（FinOps）和支出护栏
• 单一控制平面，将所有部署（公有云、本地、网络边缘）联系在一起

可在需求点随处部署，完全实现的云原生数据仓库遵循此模式，还将云、本地和网络边缘基础设施的复杂性从最终用户抽离。目的是让他们从基础设施细节中解放出来，专注于从分析中产生价值和管理数据，同时仍赋予云的原生力量。

选择正确的向导

如何到达目的地？开源容器编排工具Kubernetes提供了通往云原生运营的最热门路径。虽然Unix中分区工作负载的想法自1970年代以来就存在，但直到约十年前容器被广泛实施，才使应用开发更容易、更可移植、资源利用更高效。但在庞大的微服务架构中部署数百或数千个应用极其棘手。虽然存在其他选项，但Google的开源Kubernetes项目（现由云原生计算基金会维护）脱颖而出，解决了微服务应用编排——使应用能在通用基础设施上运行，以标准方式监控管理，并使用开放标准认证。

这对应用很好，但数据世界呢？云原生数据仓库要在公有云、私有云、网络边缘、混合云和完全分布式云中提供弹性和部署灵活性，需要相同的基础容器编排。

云原生重构面向扩展的Web应用很常见，但数据库大多只是被“搬运并转移”到云原生世界。将数据库塞入容器使其能在现代基础设施运行，但无法提供展示云所有优势的体验。软件很大程度上不知道自己运行在容器环境中，管理弹性集群等操作必须笨拙地从数据库外部通过Operators和改写Helm charts手动处理。允许多个弹性按需计算集群共享对象存储中相同底层数据等功能往往不可用。寻求从弹性云数据仓库获取业务价值的用户不想了解Helm charts、pod、节点或配置文件。他们只想配置数据仓库、管理弹性集群并从数据中获得洞察。

在Kubernetes上提供SQL接口以按需配置多个弹性集群，并向DBA和最终用户隐藏Kubernetes复杂性，就是答案。

这样，不同用户可被分配在不同计算集群上运行工作负载，使用中的计算集群可在运行时通过SQL更改（受权限控制）。集群可配置为空闲期自动挂起并在按需时重新启动。例如，可创建单独计算集群在需要时运行ETL流程，一个用于即席BI，多个用于数据科学。计算集群可在高峰期在线扩展或在低峰期关闭以省钱。可创建集群运行每日、每周或每月批量报表任务，仅在该时段激活。计算集群中节点大小和数量均可控，可在实例级建立资源消耗限制以保证可预测性。同样，可建立低成本副本系统接收主数据仓库实例的复制流量，并在副本需要使用时按需扩展。

这种弹性不仅通过深度集成Kubernetes实现，更通过将SQL本身作为创建、挂起、恢复和管理集群的“用户界面”，而非开发者工具。Kubernetes是所有集群状态的权威事实来源。显示集群状态的系统视图从Kubernetes API获取数据。输入集群管理SQL语句时，云原生数据仓库联系Kubernetes更改实例的期望状态；Kubernetes实施必要变更。若集群节点变得不健康，Kubernetes将上线替换节点。

这代表了一种独特的“内向外”关系：数据库本身（由Kubernetes管理）成为用户界面，而非Kubernetes作为驱动集群状态的“用户界面”。这种架构创造了共生关系，提供独特、完全实现的云体验。Kubernetes的威力和跨平台灵活性通过SQL完全驱动，可用于数据仓库。

随着数据生成增加和用例部署增多，企业易陷入恶性循环：生态系统日益深陷特定云。系统性风险可能出现在该单一云中，对金融服务和保险等重度监管行业的关键IT基础设施构成过度风险。基于Kubernetes的架构不是让完全实现的云原生数据仓库栩栩如生的唯一核心概念，也不是与分布式数据云模式对齐的唯一架构组件。但它是不可或缺的核心，使数据分析异常灵活，能在业务需要的任何地方运行——并能大规模、高并发、高性能、高效率、高可用地做到这一点。结果是，任何企业中成千上万用户，跨不同业务线和地理区域，能在近实时中基于动态分析做出极快决策并产生价值。