Smart Talk第8期：解锁数据湖仓实时洞察

数据湖仓已成为灵活、多用途的存储库。在Smart Talk本期节目中，Stratola CEO Dinesh Chandrasekhar与Starburst CEO兼董事长Justin Borgman探讨如何扩展数据湖仓能力，纳入实时数据和高性能查询，提供近实时洞察——这正成为越来越常见的用例。需要两大关键技术——Kafka流和强大查询引擎。

特别有趣的是他们对开源软件和开放格式重要性的见解，这已获Snowflake和Databricks宣布支持Apache Iceberg验证。Justin分享基准测试建议——使用企业数据、运行实际查询、模拟规模、最后计算成本。

涵盖主题包括：

• Kafka流式传输实时数据至数据湖仓 (4:22)
• 开放格式优势 (5:56)
• SQL对GenAI的支撑作用 (8:53)
• Snowflake、Databricks与Iceberg (11:56)
• 灵活数据存储策略 (17:21)

嘉宾

Justin Borgman，Starburst CEO兼董事长
Justin Borgman是大数据与分析领域主题专家。创立Starburst前，曾任Teradata（NYSE: TDC）副总裁兼GM，负责Hadoop产品组合。2014年通过收购其创立的Hadapt加入Teradata，Hadapt创造"SQL on Hadoop"将Hadoop从文件系统转变为任何BI工具均可访问的分析数据库。2017年创立Starburst，旨在给分析师自由分析无论位置的多样数据集，且不妥协性能。

主持人

Dinesh Chandrasekhar 是技术布道师、思想领袖、资深IT行业分析师。近30年经验涉足B2B企业软件和SaaS产品，为复杂架构客户交付和营销复杂解决方案。也定义执行高成功GTM策略，在LogicMonitor、Cloudera、Hortonworks、CA Technologies、Software AG、IBM等公司推出多款高增长产品。多产演讲者、博主、周末程序员。拥有圣克拉拉大学MBA学位和马德拉斯大学计算机应用硕士学位。现运营自有公司Stratola，提供以客户为中心的业务战略咨询和全栈营销服务。

资源

Smart Talk第7期：可观测性中的基数、控制与成本
Smart Talk第6期：AIOps与IT监控的未来
Smart Talk第5期：可观测性栈的解构
Smart Talk第4期：实时数据与向量数据库
Smart Talk第3期：现代数据管道与LLM
Smart Talk第2期：数据流动生态系统中的GenAI应用崛起
Smart Talk第1期：数据流动生态系统格局
查看数据流动生态系统图谱 这里
在RTInsights了解更多数据流动 这里

访谈实录

Dinesh Chandrasekhar:
欢迎收看Smart Talk数据流动领导力系列本期节目。我是主持人Dinesh Chandrasekhar，Stratola首席分析师兼创始人。今天嘉宾是Starburst CEO兼董事长Justin Borgman。Justin在安全和数据分析公司拥有卓越职业生涯，2017年创立Starburst前，曾创立Hadapt，后被Teradata收购，担任VP和GM多年。欢迎Justin。先谈Starburst，很多人知其品牌，但也有很多人渴望深入了解。请介绍Starburst，特别是其起源和创立初衷。

Justin Borgman:
谢谢。如介绍所述，我在数据分析领域约15年，溯及首个创业公司，后被Teradata收购。Teradata数十年坦率说是数据仓库分析领导者。那模型实质要求将所有数据迁入专有数据库——企业数据仓库。随后可运行快速分析了解业务。我们看到机会彻底颠覆该模型，主要两方面：一、利用数据湖中的开放表格式，获得数据仓库性能，即现在所谓湖仓架构；二、能触达其他数据源，将其他数据库表与数据湖中表关联。例如，你可能有Oracle或SQL Server数据库，想将其表与数据湖中Iceberg格式表关联。这正是我们技术所做。底层技术叫Trino，开源项目，源自Facebook，许多最大互联网公司——LinkedIn、Airbnb、Netflix、Apple等——用其做自有数据仓库分析。同样模式下数据湖是中央存储库，以极低拥有成本存储数据，同时能关联其他表。Starburst本质是该开源项目商业化。我们提供Trino企业版，额外安全功能、连接器、性能优势及众多其他功能。

Dinesh Chandrasekhar:
谢谢。我想深入探讨Trino、Iceberg等，但先退一步问数据架构演进：传统数据库、数据仓库，随数据爆发和实时处理需求，湖仓架构等涌现。在你视角，数据湖仓和Icehouse概念如何影响组织有效处理实时数据的能力？

Justin Borgman:
好问题。先为听众澄清，Icehouse概念实质是基于Iceberg的湖仓。数据存Iceberg表格式，可做数据仓库式分析。净结果提供极低总拥有成本，并能处理你描述的近实时数据。我们看到Kafka等流数据技术市场大增，客户越来越多用其近实时流数据入湖。我们要从这里接手。我们构建了"流式摄取"，连接Kafka流自动转为Iceberg表，近乎即时可查询。这让企业因架构获得更快更新的数据洞察。

Dinesh Chandrasekhar:
湖仓承诺统一架构处理批处理和实时分析。这架构转变如何改变BI和跨行业传统决策？有何变化？

Justin Borgman:
我认为变化剧烈。驱动因素和益处简单如经济性。传统数据仓库可能极贵。这在我Teradata时期是头号抱怨。没人说Teradata数据库差，其实很棒，只是极贵且一旦进去就锁定。数据湖用开放格式给客户更大灵活性，可选何种引擎访问数据。减少锁定，也允许用极廉价商品存储存数据，云上越来越多用S3、Google GCS或Azure Data Lake存储。即使本地部署，也有Dell、IBM等S3兼容对象存储。这成存储数据极具成本效益的通用基础层，是驱动转型的部分原因。

Dinesh Chandrasekhar:
好，谈谈Trino。作为实时数据领域强大查询引擎，随你提到的Apache Iceberg等开源技术提供系统间互操作性，如何看其在现代数据生态系统中角色演进？这些开源技术组合如何改变现代数据生态？

Justin Borgman:
我认为它正成为数据仓库界的"Postgres"。Postgres广泛部署、极流行开源数据库，传统单节点RDBMS。Trino是大规模并行处理（MPP）数据仓库分析等价物。所以对大数据、数据仓库式活动，它正成事实上开源首选。有时问Spark对比？Spark是优秀通用处理引擎，但非针对SQL分析优化。如前所述BI和决策用例，SQL仍是那些用例语言，无论连接BI工具、跑报表、构建数据驱动应用，SQL持续是重要接口语言，Trino是当今市场上为此首选引擎。结合Iceberg，如你所言，现拥有完整数据仓库。有查询引擎部分、存储部分，现有完整开放数据仓库。也可任意运行——本地、云。该栈给你很大灵活性。

Dinesh Chandrasekhar:
问个支线问题。你提到SQL是许多数据存储首选，过去30-40年无法撼动。但GenAI和自然语言处理普及，人们谈数据民主化，分发给甚至无同等知识的业务分析师，用自然语言说"获取该区域过去三月销售"。内部显然转SQL再查询引擎。你也看到这转变？SQL将繁荣存续，还是查询数据方式将转变？

Justin Borgman:
真好问题，我认为你抓住要点。逐渐过段时间，GenAI作为接口将超流行，因它让任何人都能用。现在是企业所有数据上的"Google体验"，非常振奋。我们已在产品加入早期版本，我认为人人都会，这将成标配。但我认为幕后这些技术实质将自然语言转SQL语法供引擎执行。所以语言仍重要，但可能成GenAI自然语言接口后的实现细节。你一针见血。让我想起计算器甚至图形计算器发明时，突然不需知道所有公式和长除法，计算器搞定。GenAI将为我们做类似事。

Dinesh Chandrasekhar:
更易数据访问，确定。这是方向。令人振奋领域。谈谈Iceberg。越来越流行，行业巨头采纳Iceberg作为自然方式说我们互操作、支持等。组织越来越采用实时分析，Iceberg在实现更高效可扩展数据管理中扮演何角色？你的看法？

Justin Borgman:
我认为这是大事。除AI外是2024年最大故事。格式存在几年，但今年市场基本定论哪格式胜出。曾短暂有三流行竞争格式，问谁赢？我们一直押注Iceberg，我想说预测会这样走，但市场今夏基本同意，Snowflake和Databricks宣布支持意向，基本终结辩论，Iceberg成事实标准。这对客户意味着什么？客户是真正赢家。因他们现在能用自己拥有、控制、可移植、非掌握在某数据库供应商手中几十年挟持的格式存数据。他们拥有它，意味着能让引擎竞争。可说Starburst跑这个工作负载给最优成本性能，也许Snowflake更适合那个，Databricks更适合这个，客户在引擎间有选择权，太棒了。引擎竞争，客户赢，这正是Iceberg提供的。

Dinesh Chandrasekhar:
精彩总结。清楚Iceberg展望重要性，公司标准化模型更互操作，受益客户如你所言，不被特定供应商绑定，更开放灵活。很好观点。

Justin Borgman:
正是。

Dinesh Chandrasekhar:
Justin，谈个客户案例。Trino和Iceberg是今天对话核心，讲讲实际应用案例，采用Trino和Iceberg看到了什么效益？

Justin Borgman:
乐意。有多例子，从DoorDash等领先互联网公司到Comcast等老牌传统企业，两者都在离开传统数据仓库平台，迁移工作负载。Comcast案例是非常传统的本地部署数据仓库。DoorDash案例我称之为非常传统的云数据仓库。两者最终目标都是在SQL分析上获得更好TCO，并获得灵活性用最新前沿技术接口这一通用格式。又回到前点，我认为他们也在奠基数据架构，以便轻松访问训练自有模型或执行RAG工作流所需数据，最终支撑自有AI野心。许多企业处于早期摸索AI能为我做什么、如何给竞争优势阶段。而他们都非常清楚一点：自有专有数据将是给予竞争优势的核心。所以建立以低成本高性能方式访问所需数据的数据基础设施，是该过程核心步骤。

Dinesh Chandrasekhar:
关于实时数据收益，能否深入问：实时数据常引入模式演进挑战——源变化时模式变化，目标需适应，数据版本控制等。Apache Iceberg如何在现代数据平台中应对这些挑战？

Justin Borgman:
有版本控制和时间旅行概念，能在我们平台看到数据如何演进。我们也加了数据血缘、数据质量指标，能捕获呈现给用户，真正理解数据从哪来、如何演进迭代，最终给最终用户可见性。

Dinesh Chandrasekhar:
好。Trino方面，你提到能结合多源数据做联合查询。架构更趋向中心化数据源/存储，还是保持原地但提供结合能力和消费者可见性？我们看的是什么最终架构？

Justin Borgman:
好问题。两者皆有元素，这也是我们难阐述自有价值主张的原因，因人们习惯单一模型和思维框架：要么中心化一切进传统数据仓库，要么无访问权。我们看世界演进方式是：将有中央存储库，毫无疑问是数据湖，存储大部分或尽可能多数据，因获取经济收益、性能收益，存Iceberg格式在湖中。我们认为这对大量数据是好策略，但也总有用例想触达其他数据源。也许是探索性分析。有个假设想测试，认为对业务可能很大，但不想开发所有ETL管道、走完所有流程仅为想法、直觉。那正是能将别处表与现有表关联成为游戏规则改变者的用例。可能让你在分钟而非周内验证假设。所以两者都有价值，但我们认为是大部分在湖中、然后触达湖外。

Dinesh Chandrasekhar:
假设我是寻找现代数据平台的第三方企业，优先级是处理实时数据查询、确保低延迟等。评估Trino对比其他替代方案时，清单上有哪些关键性能考量？

Justin Borgman:
建议前两点：一、用实际用的真实查询。常见用行业基准测试，那也许作初步步骤可以，但不反映你工作负载。每公司有自有做的事。所以最好尽可能模拟最终状态。意味着用自有查询和数据做POC和基准测试。永不应完全信任其他供应商基准测试，甚至我们自己的。我们有，可看，但应真正用自有查询和数据自己测试，确保不同技术满足生产需求。二、确保模拟规模。规模重要，因我们发现一些客户机会，POC过程以为供应商满足需求，但真实生产规模下就撑不住。这也是利用Trino等开源技术巨大优势，已在最大规模验证，如Apple跑疯狂规模、Facebook疯狂规模。这能给安心。但仍建议在自有基准测试过程模拟，真正确保不同技术满足生产需求。酷。第三可能加上成本。成本也极重要，成本和性能实质是同一硬币两面。基准测试也要纳入。不只选最快，要选最优成本性能。也是重要组成。

Dinesh Chandrasekhar:
同意。这绝对是许多评估方案者的清单重点项。从趋势视角收尾。数据领域发生很多事，数据仓库供应商、湖仓供应商、数据湖供应商、实时分析数据库等多选项，买家选择广泛且困惑。从新兴趋势看，实时数据处理、湖仓架构、开源生态系统整体，是否看到某种收敛？近未来有何收敛让买家更清晰？

Justin Borgman:
我看到了。非常流行模式频繁涌现，这些模式常源于互联网超大规模企业，随时间转向企业。我认为我们现在在那节点，正进入企业。看到模式是利用Kafka等技术做流部分。当然那有多选项，可用Confluent、Amazon版本。所有这些开源平台都有选择权，很好。Iceberg肯定是存储数据格式最稳妥押注。引擎侧，再次找适合工作的引擎。如果是SQL分析，我们说Trino和Starburst最佳押注，但应自己证明。训练ML模型，可能用Spark。这些是我们看到模式。认为所有四技术在开源衍生数据架构中未来多年将极流行。开源给你灵活性随时间混搭组件，让架构经受时间考验。这才是真正想做的——不创造10年后极难替换的技术债。开源给你这灵活性。

Dinesh Chandrasekhar:
喜欢这点。谢谢。用这精彩注脚收尾。Justin，非常感谢今天加入。理解Trino和Iceberg、Starburst如何提供结合两者最佳的平台，很棒对话。非常感激你加入。

Justin Borgman:
谢谢Dinesh，荣幸之至。