亿迅智能制造网
工业4.0先进制造技术信息网站!
首页 | 制造技术 | 制造设备 | 工业物联网 | 工业材料 | 设备保养维修 | 工业编程 |
home  MfgRobots >> 亿迅智能制造网 >  >> Industrial Internet of Things >> 物联网技术

Smart Talk第7期:驾驭可观测性中的基数、控制与成本

本系列已讨论可观测性和互补AIOps空间几次,但这次我们更务实深入话题,理解买家心态。组织CIO选购可观测性方案时应看什么?本期Dinesh Chandrasekhar,Stratola首席分析师兼创始人,对话Kloudfuse CEO Krishna Yadappanavar。Krishna通过三因素——基数、控制、成本——诠释可观测性。这3C是理解管理不断增长可观测性数据关键。这些因素不仅对管理数据重要,也对利用数据和元数据做额外分析重要。可观测性领域新发展是模型可观测性,特别是驱动生成式AI的LLM。3C也适用此新兴用例。

本期Smart Talk涵盖主题:

嘉宾

Krishna Yadappanavar,Kloudfuse CEO
Krishna Yadappanavar是Kloudfuse联合创始人兼CEO,统一可观测性平台。此前联合创立SpringPath,获9400万美元融资,领导公司以3.2亿美元被Cisco收购。拥有20+专利,在Veritas、Commvault、EMC、VMware、Cisco显著影响数据、虚拟化、存储技术。合著VMware VMFS,设计ESX Server存储虚拟化栈关键组件。此外,Krishna在数据、虚拟化、云、安全、AI/ML新兴初创企业担任顾问投资,贡献愿景、产品策略、工程、市场推广工作。

主持人

Dinesh Chandrasekhar 是技术布道师、思想领袖、资深IT行业分析师。近30年经验涉足B2B企业软件和SaaS产品,为复杂架构客户交付营销复杂解决方案。也定义执行高成功GTM策略,在LogicMonitor、Cloudera、Hortonworks、CA Technologies、Software AG、IBM等公司推出多款高增长产品。多产演讲者、博主、周末程序员。拥有圣克拉拉大学MBA学位和马德拉斯大学计算机应用硕士学位。现运营自有公司Stratola,提供以客户为中心业务战略咨询和全栈营销服务。

资源

Smart Talk第6期:AIOps与IT监控未来
Smart Talk第5期:可观测性栈解构
Smart Talk第4期:实时数据与向量数据库
Smart Talk第3期:现代数据管道与LLM
Smart Talk第2期:数据流动生态系统中GenAI应用崛起
Smart Talk第1期:数据流动生态系统格局
查看数据流动生态系统图谱 这里
在RTInsights了解更多数据流动 这里

访谈实录

Dinesh Chandrasekhar

欢迎收看Smart Talk数据流动领导力系列本期节目。本期有特别嘉宾Krishna Yadappanavar。他是Cloud Fuse CEO。他非创业生态陌生人。连续创业者。之前建过几家公司,热烈欢迎Krishna就可观测性对话,这又是本系列偏爱主题。

Krishna Yadappanavar

谢谢。

Dinesh Chandrasekhar

Krishna,介绍下自己,讲讲Kloudfuse和创立驱动力?

Krishna Yadappanavar (01:01):

好的,绝对。谢谢Dinesh暖场介绍。各位好,我叫Krishna。在硅谷生活近二十年,与一堆创业公司和大公司共事。成名如VMware早期创业时加入,见其从字面上百万ERR增长到640亿公司,一直从事数据相关技术,无论文件系统、分布式系统、数据库或OLAP/OLTP。好,这旅程中注意到数据是所有洞察秘诀,无论产品分析侧或提供虚拟化、备份灾备解决方案。做Springpath创业,超融合方向,试图把存储、网络、安全全装盒子里卖给Cisco。在Cisco待段时间后,思考下一个大趋势?回早期2020。遇到几趋势,如开发者DevOps或SecOps数据指数级增长趋势。机器学习AI和LLM模型新趋势当时LLM早期阶段如何颠覆市场?人类大脑思考反应某些事件时,想让机器类似方式行动。这些遇到问题交叉点三者中,发现嘿,解决不仅可观测性、还要可观测性加分析自动化、基于数据、聚焦开发者DevOps问题非常关键。这导致Kloudfuse开始——一导致另、现在40+人团队。

Dinesh Chandrasekhar (03:16):

恭喜,好开端。祝旅程顺利。谈可观测性,非昨日才有。我也在那空间公平时间工作,概念多年演进。最初10-12年大家炒作基建监控、网络监控,慢慢一事引另、云监控容器监控能力加上。今天有相当流行可观测性概念。大多数吹嘘监控公司现在成可观测性公司。知你在可观测性空间全新开始想创造差异。如何描述这演进?之前比今天何样?如何见此演进?

Krishna Yadappanavar (04:09):

好问题Dinesh。我见过这,作为开发者写单体应用跑物理机。见虚拟化出现,无论VMware、Hyper-V或开源虚拟化技术、容器化到来。看可观测性数据核心问题,随这些演进演进,见数据关联属性持续增加,当取那些属性笛卡尔积,真大、数百万到数十亿量级。称作与基数关联基数是数据量。数据量增加,人们想转换数据A到数据B更好分析。想自动化数据上某些工作流。想切片切块数据得更好洞察。简短说,数据量增加传统方式"嘿我监控所谓已知已知"消失,即传统监控。然后看已知未知,可观测性开始,完全未知未知不知何物被扔多TB到PB数据必须解剖其中数据到缺更好词确切问题何处、如何关联事件、根因分析、影响分析。只要开发者写代码、更多服务到来,复杂度只会越来越高,因此持续演进空间新挑战涌现。

Dinesh Chandrasekhar (06:14):

精彩。可观测性显然难解决问题。想探讨为何难?但你刚触及一点,也拥挤市场一堆供应商说我们解决这部分可观测性那种可观测性,仍寻找理想方案。每个CIO找这魔法子弹解决问题。为何?是否不同透镜看理解为何不同上理想方案冲动?

Krishna Yadappanavar (07:04):

如我早暗示,让我退步。客户想理想可观测方案时看什么?从问题起。我分类此问题三C——基数、控制、成本。进详细。三C意何?基数,全关于我们有某数据,无论棘手指标点、日志行、事件、追踪或分布式追踪span、连续剖面profile,附加额外、缺更好词标签或标签。取那些标签潜在值笛卡尔积、真真高增长。所以现在每数据点需关联其标签。叫标签为元数据。然后有数据。不同方案不同问题。些元数据重。去矩阵站,来日志和spans如分布式追踪,数据重,但效应是可观测性数据量因基数巨大增长。现在见反趋势。过去人们想"嘿让我发数据SaaS门户SaaS供应商管所有数据"。但我谈无论CTO、CIO、工程总监、开发者、架构师甚至CFO,想"让我控制我数据"。何意?反趋势进行,因各种原因有太多数据,无论流出风险成本、安全层面、数据量本身。不想发数据出自己VPC,另一角度。想引入所有可能接口无论传统可观测性接口如创建仪表板、警报、SLO、或任何分析函数可用传统SQL或GraphQL写、或高级如Spark作业跑可观测性数据分析,因可观测性成根本支柱。意味着必须拥有数据。数据不应离开VPC。说数据时,指摄入数据、查询数据、分析数据、最后但非最不重要的是成本。去任何供应商无论传统SaaS商业供应商或开源组件,有很多开源方案。基础设施成本、供应商成本直接正比数据量、直接正比查询数、直接正比用户数。那三东西是寻找理想方案、理想可观测性方案传统组织面临问题。

Dinesh Chandrasekhar (10:24):

基数、控制、成本。爱这三C看可观测性空间、推断对实际用户重要什么。谈成本,既触及,想问这问题。我个人经验,谈寻找可观测性方案客户时,常抱怨:嘿,每部门至少8-10不同工具,组织跨部门可能30-40工具。已付许可费年年很多成本。"为何要多一个可观测性方案"曾得推回。现在把同样问题抛你,既触及成本层面。如何与CIO探讨该问题说服或告知为何比30-40不同工具更好?

Krishna Yadappanavar (11:23):

好问题。答此问题,从工具泛滥问题起。看整个生态系统,传统些商业供应商某些流不错。去日志想Splunk。想指标想Datadog。Google和所有FANG内部。开源运动全面转移,特别Kubernetes出现,来Prometheus、OpenTelemetry等。整体向开源方案转移意味什么?意味开发者、架构师、DevOps想用开放格式摄入可观测性数据。意味即使选任何插桩插桩代码或任何代理收集数据,应100%开源兼容。所以商业供应商也开始放代理开源时,查询侧想整个可视化、仪表盘、告警——所有能力由开源查询语言驱动。所以PromQL、LogQL、TraceQL、OpenTelemetry出现,现在试另开源查询语言。所以现在世界你有许多选项。客户已选某些流某些供应商。然后开源运动、不同团队用不同基础设施。些基于Kubernetes、些Serverless、些ECS、Fargate等。这加另一维度,为全产品交付速度敏捷,CI/CD此交叉演进快速解决问题。试找指向方案最终选非常指向方案。那时我们作为理想可观测性方案,若我为公司开始可观测性栈,退步看如:嘿,若想降MTTR和MTTD,需收集所有可观测性数据流末端。去n不同供应商选n不同流,还是去可观测性数据湖放所有流一起让关联、异常值检测、异常、因果相对容易?那将理想方案在数据湖整合一切保留数据自己场所。

Dinesh Chandrasekhar (14:18):

精彩。也想加工具泛滥成本,大部分同意因开发者想建自己东西加许多开源工具混入,但也是部门级采购。IT部门觉我能解决此问题因让我买创可贴方案、买现成工具用。时间久觉添加一工具武器库未觉察未看森林为树。所以CIO对话总有趣如何紧凑或减少企业跨部门工具数、有单可观测性平台跨部门、跨应用、基建、容器等看。

Krishna Yadappanavar (15:08):

绝对。意为加上现在公司不同角色也看相同数据。如DevOps开发者、架构师都看基建、容器化应用可观测性数据用相同日志。SecOps试解剖数据找安全威胁。看来自日志或追踪相似数据。甚至DataOps看如:嘿我数据运营咋样?现在LLM出现、甚至LLMOps看相似数据做他们那类分析。所以另一整合需发生。这我理想可观测性方案会找东西。如何带入组织所有不同角色让他们能利用同所谓数据湖数据。

Dinesh Chandrasekhar (16:05):

真正 proverbial单一玻璃窗我们一直奋斗东西。好事。想触及你前回应简提及一事,关于降MTTR。可观测性核心不仅故障排查也降MTTR降警报噪音那些指标。绝对省SREs和IT Ops分清麻烦在哪、搞清那些指标。基础需求解决此需访问实时事件如发生。若特定应用或服务器日志记录恶意活动或啥,需马上访问那事件当下以理解异常在哪、基建发生什么、为何特定内存线程特定峰值或啥。需搞清并为发生需能力实时摄取所有此。数据即时性,我最爱术语过去年说,数据新鲜度此处关键重要。这我们谈论、数据多新鲜、多快解决特定问题或或许甚至避免即将发生此特定可观测性语境、特别是谈成百上千服务器监控、或何处针对说这麻烦所在、从数据尽可能新鲜或不视角。是否很大程度依赖摄入机制?因你提到OTEL和其他插桩技术等。如何还从这视角思考或看、多快能访问实时数据?

Krishna Yadappanavar (18:03):

好,可观测团队另一伟大层面,绝对对Danesh。可观测性数据被消费关键维度多快能有数据、数据离开源头那刻起、无论应用或基建组件或平台如开源组件等。为此,看行业过去5-10年演进,实时流服务、实时数据库来了。看传统可观测方案,指它们未能利用那些功能因技术相对旧。随着实时流和实时数据库出现,能尽可能快访问数据。所以那叫数据新鲜度度量、从离开应用刻起直到随时可查询、那全重要。然后那层面如:嘿我有所有数据。如何分隔数据?如何找需相关模式到根因是下一组问题。所以我应能转换数据一数据到另数据。嘿我得系列日志。能快看日志出指标?我得系列spans。能看span内某属性或追踪分析数据?因这些属性典型相关、那调试方式。所以那下一维度。第三维度高级分析。那数据上,能带有趣统计或大语言模型分析数据找所谓系统离群值?能找系统异常?好,能看数据季节性层面?能基于过去见预测数据?数据季节性层面?所以所有此我叫高级分析包。所以当想整体方案、数据新鲜度解决后,需想数据作砖单位、每砖如何调整、分析函数集。然后自然事需如:嘿我分析一次、能自动化?那成整体自然延伸。所以那为何连同三C问题,见客户问如何观测、分析、自动化我可观测数据。

Dinesh Chandrasekhar (20:57):

很酷很酷。作为你回应部分,也提到魔法词LLM、大语言模型。如今不能无谈GenAI LLM对话。高兴你提及因我能肯定问此,即LLM可观测性。看起来新兴空间突然因LLM扩散到处、人们挣扎理解它们如何表现等。讲讲那。看起来Kloudfuse也在建那前沿?讲讲更多。

Krishna Yadappanavar (21:32):

我是说是的。根本上整个LLM模型部署各种用例,缺更好词。数据动态性变化、特别可观测性世界、数据非常动态。建正确LLM模型做某操作总硬。所以我们两方式看问题。如何利用某些LLM模型顶现有可观测性数据、被我谈所有不同角色消费、无论DevOps、SecOps、DataOps或LLMOPS。那层面一。另一层面:嘿我开发应用LLM非常非常关键组件。如何看生产数据应用完整可观测性、数据喂入LLM、然后许多消费者从那些LLM模型消费数据。所以我们思考、事实上可说我们第一个端到端思考用LLM模型开发应用真正可观测性是什么。因遇到许多方案只看模型可观测性如漂移等。但我们看端到端。那非常有趣层面因很多基建应用可观测性随模型可观测性和其余东西走。最后但非最不小,去问任何CIO或CFO、LLM成本如当前方案、成本另关键维度。如何保持成本甚至提供LLM模型本身成本指标分析另层面。所以必须看一切:性能、缺、叫LLM应用APM、然后成本。这些典型维度看它。

Dinesh Chandrasekhar

很酷,振奋空间,绝对期待未来几月那空间进展。非常感谢Krishna。非常非常精彩对话。喜欢有你节目。爱谈可观测性。记住你三C:基数、控制、成本。认为好方式、好咒语看可观测性。非常感谢所有洞察。感激你来。谢谢。

Krishna Yadappanavar

非常感谢Dinesh。谢谢让我上你网络聊天。

物联网技术

  1. 物联网生态系统:构建数字化转型的协作未来
  2. 放大工厂生产力的五大技术策略
  3. 法规与报销如何驱动而非阻碍智能电子皮肤贴片的未来
  4. 普惠物联网:新一代卫星物联网带来全球可负担连接
  5. 调查显示90%企业预期将遭遇IoT网络攻击,风险管理能力亟待升级
  6. 保障物联网设备UART安全:从RSA密钥交换到AES加密
  7. IoT设备稳健云端软件更新:SOTA最佳实践
  8. 物联网漏水检测:提升业务效能与资产保护的双重护盾
  9. 物联网网络安全改进法案如何塑造连接设备未来——企业需知
  10. 连接旅程:新兴技术如何革新交通运输
  11. 雾计算详解:变革物联网数据流、减轻云端负载
  12. 经济性与可扩展性:智能家居成功的基石