Smart Talk 第 7 集：探讨可观测性中的基数、控制和成本

我们已经在本系列中多次讨论了可观察性和 AIOps 的互补空间，但这一次，我们将更务实地深入探讨该主题，以了解购买者的心态。组织的首席信息官在市场上寻找可观察性解决方案时应该寻找什么？请加入我们这一集，观看 Stratola 首席分析师兼创始人 Dinesh Chandrasekhar 与 Kloudfuse 首席执行官 Krishna Yadappanavar 的对话。克里希纳从三个因素的角度解释了可观察性：基数、控制和成本。
这 3C 是理解和管理不断增加的可观测性数据的关键。这些因素不仅对于管理数据很重要，而且对于利用数据和元数据进行其他分析也很重要。
可观测性领域的一个新发展是模型可观测性，尤其是驱动生成式人工智能的法学硕士。 3C 也适用于这一新兴用例。

本期 Smart Talk 涵盖的一些主题包括：

• 可观测性数据的潜力
• 工具激增
• 克服孤立的可观测性数据
• 考虑元数据
• 洞察成本

来宾
Krishna Yadappanavar，Kloudfuse 首席执行官
Krishna Yadappanavar 是统一观测平台 Kloudfuse 的联合创始人兼首席执行官。他之前是 SpringPath 的联合创始人，获得了 9400 万美元的资金，并带领该公司被思科以 3.2 亿美元的价格收购。 Krishna 拥有 20 多项专利，对 Veritas、Commvault、EMC、VMware 和 Cisco 的数据、虚拟化和存储技术产生了重大影响。他与人合着了 VMware 的 VMFS，并为 ESX Server 设计了存储虚拟化堆栈的关键组件。此外，Krishna 还为数据、虚拟化、云、安全和 AI/ML 领域的新兴初创公司提供建议和投资，为愿景、产品战略、工程和上市工作做出贡献。

主持人：  Dinesh Chandrasekhar 是一位技术传播者、思想领袖和经验丰富的 IT 行业分析师。 Dinesh 拥有近 30 年的经验，致力于 B2B 企业软件和 SaaS 产品的开发，为具有复杂架构的客户提供和营销复杂的解决方案。他还制定并执行了非常成功的 GTM 策略，在 LogicMonitor、Cloudera、Hortonworks、CA Technologies、Software AG、IBM 等多家公司向市场推出了多种高增长产品。他是一位多产的演讲者、博主和周末编码员。 Dinesh 拥有圣克拉拉大学 MBA 学位和马德拉斯大学计算机应用硕士学位。目前，Dinesh 经营着自己的公司 Stratola，这是一家以客户为中心的业务战略咨询和全栈营销服务公司。

资源
Smart Talk 第 6 集：AIOps 和 IT 监控的未来
Smart Talk 第 5 集：可观察性堆栈的分解
Smart Talk 第 4 集：实时数据和矢量数据库
Smart Talk 第 3 集：现代数据管道和法学硕士
Smart Talk 第 2 集：GenAI 应用程序与动态数据的兴起
Smart Talk 第 1 集：动态数据生态系统景观
此处查看动态数据生态系统地图
在此了解有关 RTInsights 上动态数据的更多信息

成绩单
迪内什·钱德拉塞卡

大家好，欢迎收看本期 Smart Talk，这是一个数据动态领导力系列。在这一集中，我们有一位特邀嘉宾，克里希纳·亚达帕纳瓦 (Krishna Yadappanavar)。他是 Cloud Fuse 的首席执行官。他对创业生态系统并不陌生。他是一位连续创业者。在此之前，他已经创建了几家公司，因此我们热烈欢迎 Krishna 进行有关可观察性的对话，这又是本系列中最喜欢的主题。 

克里希纳·亚达帕纳瓦尔

谢谢。

迪内什·钱德拉塞卡

那么，Krishna，作为自我介绍的一种方式，您为什么不向我们介绍一下 Kloudfuse 以及您创办公司的动力呢？

克里希纳·亚达帕纳瓦 (01:01)：

好吧，绝对可以。谢谢，迪内什。谢谢热情的介绍。大家好，我的名字是克里希纳。是的，我在硅谷生活了近二十多年，一直与许多初创公司和大公司合作。这个名字的成名就像是早期初创公司时的VMware。我加入后，见证了它从接近 100 万 ERR 成长为一家拥有 640 亿美元资产的公司，而且我一直与不同的数据相关技术联系在一起，无论是编写文件系统、分布式系统、数据库还是 OLAP 或 OLTP。好的，在整个旅程中，我注意到数据是所有见解的秘密，无论是在产品分析方面还是提供虚拟化等解决方案或提供备份或灾难恢复等解决方案。在完成我的初创公司 Springpath 后，该公司处于超融合领域，试图将存储、网络和安全性的融合整合到我卖给思科的一个盒子中。

在思科工作了一段时间后，我在想下一个大趋势是什么？时间回到 2020 年初。我发现了一些趋势，例如与开发人员 DevOps 或 SecOps 相关的数据呈指数级增长相关的一些趋势。机器学习AI和LLM模型的新趋势当时处于早期阶段的LLM模型将如何扰乱市场？然后，当人脑开始思考并对某些事件做出反应时，你希望机器以类似的方式行动。这些是我们遇到的一些问题，在这三个问题的交叉点上，我发现，嘿，不仅解决可观察性的问题，而且解决可观察性加上分析和自动化的问题，在数据之上，重点关注开发人员和 DevOps，这是非常关键的。这导致了 Kloudfuse 的诞生——一个导致了另一个，然后我们现在是一个大约 40 多人的团队。

迪内什·钱德拉塞卡 (Dinesh Chandrasekhar) (03:16)：

好吧，恭喜你，这是一个很好的开始。祝您旅途顺利。谈到可观察性，这并不是昨天才发生的事情。我也在那个领域工作了相当长的时间，可观察性的概念多年来一直在发展。因此，最初 10、12 年前，人们热衷于谈论基础设施监控、网络监控等所有内容，然后慢慢地，一件事引发另一件事，然后又添加了云监控和容器监控功能。今天我们有了一个非常流行的可观察性概念。大多数过去吹捧监控的公司现在都是可观察性公司。我知道您在可观察性领域重新开始，想要创造差异。您如何描述这种演变？与今天相比，以前是什么？您如何看待这种演变？

克里希纳·亚达帕纳瓦 (04:09)：

是的，很好的问题。迪内什。我已经看到了这一点，我的意思是，作为一名开发人员，我自己编写了一个在物理机器上运行的整体应用程序。然后我看到了虚拟化的出现，无论是像VMware还是Hyper-V，还是开源虚拟化技术和容器化。所以如果你看看数据可观察性的核心问题，随着这些评估的发展，我们看到与数据相关的属性不断增加，当你对这些属性进行笛卡尔积时，它会变得非常大，达到数百万到数十亿。他们所说的与该基数相关的基数是数据量。随着数据量的增加，人们希望将数据 A 转换为数据 B 以进行更好的分析。他们希望在数据之上实现某些工作流程的自动化。

他们希望对数据进行切片和切块，以便为您提供更好的见解。简而言之，随着数据量的增加，传统方式，嘿，我正在监控所谓的已知知识消失，这就是传统监控。然后你会看到已知的未知数，这是可观察性的开始，还有完全未知的未知数，你什么都不知道，你会被扔到价值数 TB 到 PB 的数据中，你必须在这些数据中进行剖析，并找出问题所在、它与事件如何相关、根本原因分析是什么、影响分析是什么。所以只要开发人员写代码，这种复杂性和越来越多的服务就会到来。这种复杂性将会越来越高，因此这仍然是一个不断发展的空间，新的挑战不断出现。

迪内什·钱德拉塞卡 (Dinesh Chandrasekhar) (06:14)：

太棒了。所以可观测性显然绝对是一个很难解决的问题。我很想探究这是为什么？但我想你刚才也谈到了一点，但我们的市场也很拥挤，有十几个供应商，他们说，我们解决了这部分可观察性和那种可观察性等等，但仍然在寻找理想的解决方案。因此，我采访过的每一位首席信息官总是在寻找能够解决他们问题的灵丹妙药。这是为什么？是否需要通过不同的视角来看待它才能理解为什么有不同的冲动来获得理想的解决方案？

克里希纳·亚达帕纳瓦 (07:04)：

正如我之前提到的，让我退一步，对吧？当客户考虑理想的观测解决方案时，他们在寻找什么？我们先从问题开始吧。我将这个问题归类为三个 C：基数、控制和成本。让我详细讨论下一个级别。这三个C是什么意思？基数，这一切都与我们如何拥有某些数据有关，无论是棘手的度量点、日志线、事件、跟踪或来自分销商跟踪的跨度，还是连续配置文件的配置文件，它都会附加额外的内容，因为缺乏更好的词、标签或标签。当你对这些标签可以采用的潜在值进行笛卡尔积时，它会变得非常非常高。所以现在每个数据点都需要与其标签相关联。

因此，我们将标签称为元数据。然后还有一个数据。不同的方案有不同的问题。有些元数据很重。当你访问矩阵站点时，当你看到日志和跨度（例如分布式跟踪）时，它们就像数据量很大，但实际上，这是由于基数而导致的可观测性数据量的巨大增加。如今我看到了相反的趋势。我的意思是，过去人们的想法是，嘿，让我将数据发送到 SaaS 门户，然后 SaaS 供应商将管理所有这些数据。但当我与首席技术官、首席信息官、工程主管、开发人员、架构师甚至首席财务官交谈时，他们都在想，让我控制我的数据。他们这是什么意思？现在有一个相反的趋势，我因为各种原因拥有如此多的数据，无论是风险成本的出口、安全方面的问题，还是数据本身的数量。

他们不想将该数据发送到 VPC 之外，而且还有另一个角度。他们希望引入他们能想到的所有可能的接口，无论是传统的观测站类型的接口，例如创建仪表板、警报、SLO，还是任何可以用传统 SQL 或 GraphQL 编写的分析功能，或者可能有高级的 Spark 作业，在可观测性数据之上运行一些分析，因为可观测性已成为基本支柱。这意味着他们必须拥有这些数据。数据不应离开 VPC。当我说数据时，就是正在摄取的数据、正在查询的数据以及正在分析的数据，最后但并非最不重要的一点是成本。如果你去找任何供应商，无论是传统的 SaaS 商业供应商还是开源组件，都会有很多开源解决方案。基础设施成本，供应商的成本与数据量成正比，与查询数量成正比，与用户数量成正比。这三件事是寻求理想解决方案、理想可观测性解决方案的传统组织正在寻找的问题

迪内什·钱德拉塞卡 (Dinesh Chandrasekhar) (10:24)：

基数、控制和成本。我想我喜欢那个。三个 C 是查看可观察性空间以及如何推断对实际用户重要的内容等的好方法。说到成本，既然谈到了，我也想问你这个问题。根据我自己的个人经验，当我与正在寻找可观察性解决方案的客户交谈时，他们经常抱怨的是，嘿，我在每个部门至少有 8 到 10 个不同的工具。我今天在整个组织中查看了大约 30 到 40 个工具。年复一年，我已经为这些许可证支付了大量费用。 “为什么我想要一个更多的可观察性解决方案”，这是我过去经常遇到的阻力，对吧？既然您已经谈到了成本方面，我将向您提出同样的问题。您如何向 CIO 解决这个问题并说服他们或告诉他们为什么这比拥有 30 或 40 种不同的工具更好？

克里希纳·亚达帕纳瓦 (11:23)：

好的，很好的问题。因此，为了回答这个问题，让我们从工具激增的原因开始。因此，如果你看看整个生态系统，传统上的一些供应商，如果我以商业供应商为例，他们在某些领域非常好。如果您查看日志，您可以想到 Splunk。如果您想到指标，您就会想到 Datadog。然后是 Google 内部和世界上所有 FANG 内部。整个开源运动开始了，尤其是随着 Kubernetes 的出现，然后出现了 Prometheus、OpenTelemetry 等。

整个转变正在朝着基于开源的解决方案发展。这是什么意思？这意味着开发人员、架构师、DevOps 人员希望以开放格式获取他们的可观测性数据。这意味着，即使我选择任何仪器来检测我的代码或放置任何代理来收集我的数据，它也应该是百分百开源兼容的。这就是为什么当商业供应商也开始将他们的代理放入开源中时，然后在查询方面，他们希望整个可视化、仪表板、警报——所有这些功能都由开源查询语言驱动。这就是为什么出现了 PromQL、LockQL、TraceQL、OpenTelemetry，他们现在正在尝试另一种开源查询语言。

 所以现在你身处这个有很多选择的世界。客户已经为特定的流选择了特定的供应商。

然后是开源运动，然后不同的团队正在使用不同的基础设施。有些是基于 Kubernetes，有些是基于 Serverless，有些是基于 ECS、Fargate 等等。因此，这增加了另一个维度，为了提高整个产品交付的速度和敏捷性，CI/CD 在这个交叉点上不断发展，可以非常快速地解决问题。他们试图寻找有针对性的解决方案，因此最终选择了非常有针对性的解决方案。那时我们作为一个理想的可观测性解决方案，如果我要为我的公司启动我的可观测性堆栈，我会退后一步，看看，嘿，如果我想减少我的 MTTR 和 MTTD，我需要收集可观测性数据的所有最终流。我要去n吗 不同的供应商并选择n 不同的流，还是进入可观测性数据湖，在那里我可以将所有流放在一起，以便相关性、异常值检测、异常、因果关系等高级功能变得相对容易？这将是一个理想的解决方案，您可以将所有内容整合到数据湖中，并在您的场所内保存数据。

迪内什·钱德拉塞卡 (Dinesh Chandrasekhar) (14:18)：

太棒了。我还想补充一点，工具扩散的成本，我同意很大程度上是因为开发人员想要构建自己的东西，并且他们也添加了很多开源工具，但这也是部门级的购买。因此，IT 部门觉得我可以解决这个问题，因为让我得到一个创可贴解决方案，让我购买现成的工具并使用它。然后随着时间的推移，他们意识到自己又在武器库中添加了一种工具，却没有意识到自己没有只见树木，只见森林。因此，CIO 的对话总是很有趣，讨论如何压缩或减少整个企业拥有的工具数量，并拥有一个跨部门、跨应用程序、基础设施容器等的可观察性平台。 

克里希纳·亚达帕纳瓦 (15:08)：

绝对的。因此，我想补充一点，现在公司中的不同角色也在查看相同的数据。与 DevOps 开发人员一样，架构师都在关注基础设施、容器化应用程序等方面的可观察性数据。使用相同的日志。 SecOps 人员正在尝试剖析数据以寻找安全性和威胁。查看来自日志或跟踪的类似数据。甚至 DataOps 人员也会说，嘿，我的数据操作有多好？现在随着法学硕士的出现，即使是法学硕士运营人员也在寻找类似的数据来进行他们的分析。因此，还需要进行另一次整合。这是我在理想的可观测性解决方案中寻找的一件事。我如何引入组织中的所有不同角色，以便他们可以利用来自同一个所谓的数据湖的数据。

迪内什·钱德拉塞卡 (Dinesh Chandrasekhar) (16:05)：

这确实是我们一直在努力追求的众所周知的单一玻璃。所以这是一件好事。所以我想谈谈您在解释之前的回复时简要提到的另一件事，即减少 MTTR，对吧？因此，作为可观察性的主要症结，它不仅涉及故障排除，还涉及减少 MTTR、减少警报噪音和此类指标。因此，它绝对可以让 SRE 和 IT 运维人员不必费尽心思找出问题所在，而所有这些都是解决此问题的关键基本要求。您需要访问正在发生的实时事件。如果在特定应用程序或特定服务器中输入了有关恶意活动或类似内容的日志，您需要立即访问该事件，以便了解异常在哪里、基础设施中发生了什么、为什么特定内存线程中会出现这种特定峰值或其他情况。

因此，您需要弄清楚这一点，为了实现这一点，您还需要能够实时摄取所有这些。数据即时性，这是我去年最喜欢的术语，我一直在谈论它，而数据新鲜度在这里是最重要的。这就是我们所讨论的，数据的新鲜程度，是指您能够以多快的速度解决该特定问题，甚至可能避免在这种特定的可观察性环境中即将发生的事情，特别是当您正在谈论您正在监视的服务器中的成百上千个数据以及所有这些时，或者您在哪里指出，这就是使数据尽可能新鲜或不新鲜的问题所在。它在很大程度上取决于摄取机制吗？因为您谈到了 TEL 和其他类型的仪器技术等等。那么，您还会如何考虑或从我能够多快访问实时数据的角度来看待它？

克里希纳·亚达帕纳瓦 (18:03)：

好吧，观察团队的另一个伟大方面，你说得完全正确，达内什。因此，观察数据被消耗的关键维度是我能以多快的速度获得数据，数据从数据源离开的那一刻，无论是您的应用程序、基础设施组件还是您的平台（如开源组件等）。因此，如果你看看这个行业在过去五到十年左右的发展历程，就会发现实时流媒体服务、实时数据库已经出现。如果你看看传统的观察解决方案，我的意思是他们无法利用这些功能，因为该技术相对较旧。因此，随着实时流和实时数据库的出现，您可以尽快访问数据。因此，这就是所谓的数据新鲜度的衡量标准，从数据离开应用程序的那一刻起直到可以轻松查询为止，这才是最重要的。

然后还有一个方面，嘿，我有所有数据。我如何划分这些数据？如何找到找到根本原因所需的相关模式是下一组问题。所以这意味着我应该能够将数据一种数据转换为另一种数据。嘿，我收到了一系列日志。我可以快速查看日志中的指标吗？我得到了一系列的跨度。我可以查看该范围内的某些属性或跟踪来分析该数据吗？因为这些属性通常是相关的，这就是调试的发生方式。这就是下一个维度。第三个维度是高级分析。除了这些数据之外，我可以引入一些有趣的统计或大型语言模型来分析数据以找到系统中所谓的异常值吗？

我能发现系统中的异常吗？好的，我可以查看数据的季节性方面吗？我可以根据过去的观察来预测我的数据吗？数据的季节性方面？所以所有这些就是我所说的高级分析包。所以当你解决了数据的新鲜度之后，在思考整体的解决方案时，你需要把数据作为一个砖块来思考，然后每个砖块如何调整，然后设置分析功能。然后我们自然需要做的事情就是，嘿，我已经分析过一次了，我可以自动化它吗？这成为整个事情的自然延伸。这就是为什么除了 3C 问题之外，我们还看到客户询问我如何观察、分析和自动化观察数据。

迪内什·钱德拉塞卡 (Dinesh Chandrasekhar) (20:57)：

非常酷。非常酷。然后，作为您回复的一部分，您还提到了法学硕士这个神奇的词，即大语言模型。我的意思是，现在你无法在不谈论 GenAI LLM 的情况下进行对话。所以我很高兴你提到它，因为我绝对可以问你这个问题，这就是法学硕士的可观察性。鉴于我们各地的法学硕士数量激增，人们正在努力了解他们的表现等等，这似乎突然成为一个新兴领域。请告诉我们这一点。看起来 Kloufuse 也在这方面做出了一些贡献，对吧？请告诉我们更多相关信息。

克里希纳·亚达帕纳瓦 (21:32)：

我的意思是，是的。我的意思是从根本上来说，LLM 模型正在各种用例中部署，对吧？至于缺乏更好的词。数据变化的活力，特别是在可观测的世界里，数据是非常动态的。建立正确的法学硕士模型来执行某些操作总是很困难。所以我们从两个方面来看待这个问题。我如何在现有的可观测性数据之上利用某些 LLM 模型，这些数据正在被我谈到的所有不同角色所消耗，无论是 DevOps、SecOps、DataOps 人员还是 LLMOps 人员。这是它的一方面。还有另一个方面，嘿，我正在开发一个应用程序，其中法学硕士是非常非常关键的组成部分。我如何看待生成数据的应用程序的完整可观察性，这些数据被输入到 LLM，然后有很多消费者正在使用这些 LLM 模型中的数据。

所以我们正在思考，事实上，我可以说我们是第一个端到端思考什么是使用LLM模型开发的所有应用程序的真正可观察性的人。因为我遇到过很多解决方案，只是关注模型的可观测性，例如漂移之类的东西。但我们正在端到端地寻找。这是一个非常有趣的方面，因为许多基础设施应用程序的可观察性与模型可观察性和其他事物一起出现。最后但并非最不重要的一点是，如果你去询问任何首席信息官或首席财务官，法学硕士的成本，就像当前的解决方案一样，成本是另一个关键维度。如何保持该成本，甚至提供有关 LLM 模型本身成本指标的任何分析是它的另一个方面。所以你必须考虑一切：性能、缺乏（我们称之为 LLM 申请的 APM），然后是成本。所以这些是您会看到的典型尺寸。

迪内什·钱德拉塞卡

非常酷、令人兴奋的空间，我对了解未来几个月该空间的发展感到非常兴奋。非常感谢你，克里希纳。这是一次非常非常精彩的对话。很高兴您参加我们的节目。喜欢谈论可观察性。我会记住您的三个 C：基数、控制和成本。我认为这是看待可观察性的好方法、好咒语。所以感谢您提供的所有见解。感谢您来到这里。谢谢。

克里希纳·亚达帕纳瓦尔

非常感谢，迪内什。感谢您接受我的网络聊天。