如何打造开放领先的可观测性数据底座

6月28日，龙蜥社区“走进系列”第 11 期-智能可观测运维技术MeetUp活动在成都举行。活动邀请了来自阿里云、谐云科技、乘云数字、中兴通讯、云杉网络、浪潮信息等企业和社区的资深技术专家在此进行了一次深度的技术交流和分享，聚焦系统运维的前沿技术，深入探讨在Al、eBPF 等技术的不断发展浪潮中，运维技术将会向何种方向迈进。

会上，乘云数字的副总裁张怀鹏，做了一次关于“如何打造开放领先的可观测性数据底座”的分享。以下是分享的简要内容：

精彩演讲

企业面对多样化的监控需求，往往采用购买不同专业产品的“数码时代”模式，但这种模式在云原生、微服务、容器化等新技术环境下显得力不从心。乘云数字提出了构建智能底座的概念，以实现数据融合和自由开发应用，类似于智能手机上的AppStore，为观测性数据底座设定了目标。然而，统一平台建设面临性能、成本、管理、维护、扩展难题，数据治理中数据割裂、标准不一，以及缺乏长期指导和稳定合作伙伴的问题，这是我们需要解决的问题。

可观测建设的难点和挑战

统一平台建设的挑战

• 平台性能低下与成本高昂：构建高性能、低成本的统一平台是难点之一。
• 管理、维护与扩展困难：平台的日常管理和升级迭代需要大量人力物力。
• 功能产品化障碍：许多功能难以标准化，导致重复开发，已有的功能也难以复用。
• 缺乏深度场景应用：一些平台仅能存储数据，而未能提供丰富的分析工具或场景化应用。

数据治理的难题

• 数据割裂与格式混乱：来自不同来源的数据缺乏统一的格式和存储机制。
• 标准不一：各厂商的数据标准差异大，难以建立统一的数据模型。
• 成本与效率问题：直接使用未治理的数据会导致高昂的使用成本和低效的分析效果。

持续建设和指导的缺失

• 长期投入与合作难度：可观测性的建设需要持续的资金和技术投入，以及供应商和客户之间的紧密合作。
• 供应商绑定风险：企业可能陷入对不稳定供应商的依赖，影响项目的可持续性。
• 缺乏指导与设计：企业内部可能缺乏专业的可观测性建设指导，导致重复劳动和缺乏长远规划。

如何打造一套开放领先的可观测底座

DataBUFF的解决方案

通过统一模型和构建思路，设计了一个简洁、开放、扩展性强的架构，支持一体化探针采集和第三方数据源开放采集，利用图形化、低代码的数据流接入治理（onegate），以及自研的高性能存储技术（moredb和tracingx）。

全面采用OpenTelemetry标准，确保了与业界生态的紧密接轨，同时，自主研发的MOREDB和TracingX在时序数据和链路数据的存储上展现了高性能、低成本的竞争优势。

MoreDB的优势

作为第三代时序数据库，moredb针对可观测场景进行了优化，相较于同类产品，在查询性能、存储成本、压缩算法等方面表现出色，能够支持大规模数据写入、灵活查询和高效压缩。

MoreDB优势如下：
• 高写入性能与灵活查询：针对时序数据特点设计，满足高吞吐量写入和灵活多维查询的需求。
• Schemaless设计：无需预定义表结构，自动适应数据模式变化，简化了使用流程。
• 低延迟与高TPS查询：优化查询时延，适合告警触发和实时监控场景。
• 专有压缩算法：针对时序数据的时间序列特性和数值相似性，采用高效压缩技术，减少存储成本。
• 跨集群查询与高压缩比：支持多机房数据汇聚查询，单机高TPS，以及高达1:77的压缩率。
• 广泛兼容性：支持InfluxDB SQL语法和Grafana集成，便于对接现有监控工具。

应用场景

基于可观测底座，可以开发多种场景，如云原生网络监控、智能运维分析、统一告警管理、业务运营可观测等，其中NGAIOps智能运维分析特别强调了故障诊断能力，采用实时自动拓扑驱动，关注现象类指标，提供透明的推理过程。

NGAIOps采用实时自动拓扑驱动的方法，注重现象类指标，以直观、高效的方式进行故障定位，强调从上至下的逐层推理，增加透明度，减少黑盒操作。会上分享了一个典型的NGAIOPS的故障诊断场景-SQL耗时故障，并演示了Databuff是如何进行根因分析和故障诊断的。

点击查看故障演练视频

⬇️ ⬇️ ⬇️

故障演练视频

结尾

在构建开放领先的可观测性数据底座的探索中，乘云数字通过DataBUFF解决方案展示了技术创新与实践结合的魅力。从统一模型构建到自研技术的应用，再到面向未来的应用场景拓展，每一步都彰显了智能运维领域的无限可能。未来，DataBUFF会持续创新，带来更多先进的运维理念和实践，推动IT运维行业向更高效、更智能的方向发展。