时序数据库实战：InfluxDB 与 Prometheus 的时序数据存储

时序数据库实战：InfluxDB 与 Prometheus 的时序数据存储

时序数据库（Time-Series Database）专为处理时间戳数据优化，适用于监控、物联网等场景。以下从数据模型、存储机制和实战对比三方面解析：

1. 核心概念

• 时序数据特点
  数据点按时间顺序生成，包含：
  • 时间戳（$t$）
  • 度量值（$v$）
  • 标签（$tag_1, tag_2, \dots$），用于多维检索
• 写入模式
  高频写入（$10^4 \sim 10^6$ 点/秒），低更新率

2. InfluxDB 实战

数据模型
采用 measurement + tags + fields 结构：

weather,location=北京 temperature=28,humidity=0.6 1627891200000000000

• weather：测量名称
• location=北京：标签（索引字段）
• temperature：数值字段
• 时间戳：纳秒精度

存储优化

• TSM 引擎：
  按时间分片存储，压缩算法支持：
  • 整数：Delta-of-Delta 编码
  • 浮点数：Gorilla 压缩
• 倒排索引：
  标签组合构建索引，加速 WHERE location='北京' 类查询

查询示例（Flux 语言）

from(bucket: "iot")
  |> range(start: -1h)
  |> filter(fn: (r) => r._measurement == "weather")
  |> aggregateWindow(every: 1m, fn: mean)

---

3. Prometheus 实战

数据模型
基于多维标签的指标模型：

http_requests_total{method="POST",status="200"} 2389 @1627891200

• http_requests_total：指标名
• {method="POST"}：标签维度
• 值和时间戳分离存储

存储机制

• 本地存储：
  • 分块存储：每 2 小时生成一个块（目录结构：<block>/chunks/）
  • 索引文件：使用 LevelDB 加速标签查询
• 压缩策略：
  垂直压缩（合并时间重叠数据）与水平压缩（合并相邻块）

查询示例（PromQL）

sum(rate(http_requests_total{status="500"}[5m])) by (service)

---

4. 核心差异对比

维度	InfluxDB	Prometheus
数据模型	结构化字段（fields） + 标签	纯标签模型
存储架构	支持集群（InfluxDB Enterprise）	单机为主，远程存储扩展
压缩效率	字段级压缩（浮点误差 $<10^{-6}$）	整块压缩（高吞吐场景占优）
适用场景	高频传感器数据（$>1kHz$ 采样）	服务监控指标（$1 \sim 100Hz$）

---

5. 选型建议

• 选择 InfluxDB 当：
  • 需要字段类型多样性（如字符串、布尔值）
  • 写入负载超过 $50,000$ 点/秒
  • 要求 SQL 类查询（如 GROUP BY time(1h)）
• 选择 Prometheus 当：
  • 已有 Kubernetes 生态集成
  • 需实时告警（AlertManager 联动）
  • 指标维度动态变化（标签自动发现）

性能优化贴士：

• InfluxDB：通过 GROUP BY time() 降采样降低查询负载
• Prometheus：避免高基数标签（如 user_id），改用 hash(user_id)
• 通用方案：冷热数据分层（Hot: SSD / Cold: HDD）