华为自研分布式时序数据库集群：初始GaussDB(for Influx)

前言

随着云计算规模越来越大，以及物联网应用逐渐普及，在物联网（AIoT）以及运维监控（AIOps）领域，存在海量的时序数据需要存储管理。以华为云监控服务（Cloud Eye Service，CES）为例，单个Region需要监控7000多万监控指标，每秒需要处理90万个上报的监控指标项，假设每个指标50个字节，一年的数据将达到PB级。另以地震监测系统为例，数万监测站点24小时不间断采集数据，平均每天要处理的指标数据达到TB级，一年的数据同样达到PB级，并且数据需要永久存储。传统的关系型数据库很难支撑这么大的数据量和写入压力，Hadoop等大数据解决方案以及现有的开源时序数据库也面临非常大的挑战。对时序数据实时交互、存储和分析的需求，将推动时序数据库在架构、性能和数据压缩等方面不断进行创新和优化。

GaussDB(for Influx)时序数据库依靠华为在数据存储领域多年的实践经验，整合华为云的计算、存储、服务保障和安全等方面的能力，大胆在架构、性能和数据压缩等方面进行了技术创新，达到了较好的效果，对内支撑了华为云基础设施服务，对外以服务的形式开放，帮助上云企业解决相关业务问题。

云原生存储与计算分离架构

 

GaussDB(for Influx)接口完全兼容InfluxDB，写入接口兼容OpenTSDB、Prometheus和Graphite。从架构上看，一个时序数据库集群可以分为三大组件。它们分别是：

Shard节点：节点采用无状态设计，主要负责数据的写入和查询。在节点内，除了分片和时间线管理之外，还支持数据预聚合、数据降采样和TAG分组查询等专为时序场景而优化的功能。

Config集群：存储和管理集群元数据，采用三节点的复制集模式，保证元数据的高可靠性。

分布式存储系统：集中存储持久化的数据和日志，数据采用三副本方式存放，对上层应用透明。存储系统为华为自研，经过多年产品实践检验，系统的高可用和高可靠性都得到了验证。

 

相比