Prometheus 存储优化：配置远程存储（Thanos）解决历史数据占用磁盘问题

最新推荐文章于 2025-11-20 03:44:41 发布

原创最新推荐文章于 2025-11-20 03:44:41 发布 · 1k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#prometheus

Prometheus 存储优化：配置远程存储（Thanos）解决历史数据占用磁盘问题

Prometheus 默认将所有监控数据存储在本地磁盘上，随着时间推移，历史数据会占用大量磁盘空间，可能导致磁盘告警或服务中断。为了解决这个问题，可以使用 Thanos 项目实现远程存储，将历史数据迁移到对象存储（如 Amazon S3、Google Cloud Storage 或 MinIO），从而释放本地磁盘空间。Thanos 是一个开源扩展系统，支持 Prometheus 数据的长期存储、压缩和全局查询。以下是一个结构化的配置指南，帮助您逐步实现优化。

1. 问题背景与解决方案概述

问题：Prometheus 本地存储机制会保留所有时间序列数据，磁盘占用随数据量增长而线性增加。例如，保留 30 天数据时，磁盘使用量可能达到数百 GB。
解决方案：Thanos 通过以下方式优化存储：
- 将历史数据推送到远程对象存储（成本低、可扩展）。
- 本地只保留短期数据（如 2-7 天），减少磁盘压力。
- 支持全局查询接口，无缝访问历史和实时数据。
核心组件：
- Thanos Sidecar：与 Prometheus 实例一起部署，处理数据上传。
- Thanos Store Gateway：提供对远程存储的查询访问。
- Thanos Compactor：压缩和降采样数据，优化存储效率。
- 对象存储：如 S3，用于持久化历史数据。

2. 配置步骤：集成 Thanos 与 Prometheus

以下是分步配置过程。假设您已安装 Prometheus 和 Kubernetes（或类似环境），并准备好对象存储桶（如 AWS S3）。

步骤 1: 配置 Prometheus 启用远程写入

修改 Prometheus 的配置文件（prometheus.yml），添加 remote_write 部分，指向 Thanos Sidecar。

配置文件示例：

# prometheus.yml
global:
  scrape_interval: 15s
  evaluation_interval: 15s

remote_write:
  - url: "http://thanos-sidecar:10908/api/v1/receive"  # Thanos Sidecar 地址
    queue_config:
      max_samples_per_send: 1000
      capacity: 5000

scrape_configs:
  - job_name: 'node_exporter'
    static_configs:
      - targets: ['localhost:9100']

解释：remote_write 将数据异步发送到 Thanos Sidecar，本地保留策略可调整为短期（如 retention: 2d）。

步骤 2: 部署 Thanos Sidecar

Thanos Sidecar 作为容器与 Prometheus 同 Pod 运行，负责上传数据到对象存储。

部署文件示例（Kubernetes）：

# thanos-sidecar-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-with-thanos
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      containers:
      - name: prometheus
        image: prom/prometheus:latest
        ports:
        - containerPort: 9090
        volumeMounts:
        - mountPath: /etc/prometheus
          name: prometheus-config
      - name: thanos-sidecar  # Sidecar 容器
        image: thanosio/thanos:latest
        args:
          - "sidecar"
          - "--prometheus.url=http://localhost:9090"
          - "--objstore.config-file=/etc/thanos/bucket.yaml"  # 对象存储配置
        ports:
        - containerPort: 10908
        volumeMounts:
        - mountPath: /etc/thanos
          name: thanos-config
      volumes:
      - name: prometheus-config
        configMap:
          name: prometheus-config
      - name: thanos-config
        configMap:
          name: thanos-config

创建对象存储配置文件 bucket.yaml：

# bucket.yaml
type: S3
config:
  bucket: "your-s3-bucket-name"
  endpoint: "s3.amazonaws.com"
  access_key: "YOUR_ACCESS_KEY"
  secret_key: "YOUR_SECRET_KEY"
  insecure: false

步骤 3: 设置对象存储和 Thanos 组件

对象存储：在 AWS S3 或其他服务创建桶，确保 Thanos 有读写权限。

部署 Thanos Store Gateway：提供查询接口。

# thanos-store-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: thanos-store
spec:
  replicas: 1
  selector:
    matchLabels:
      app: thanos-store
  template:
    metadata:
      labels:
        app: thanos-store
    spec:
      containers:
      - name: thanos-store
        image: thanosio/thanos:latest
        args:
          - "store"
          - "--objstore.config-file=/etc/thanos/bucket.yaml"
        ports:
        - containerPort: 10901

部署 Thanos Query：聚合多个数据源（包括 Prometheus 和 Store Gateway）。

# thanos-query-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: thanos-query
spec:
  replicas: 1
  selector:
    matchLabels:
      app: thanos-query
  template:
    metadata:
      labels:
        app: thanos-query
    spec:
      containers:
      - name: thanos-query
        image: thanosio/thanos:latest
        args:
          - "query"
          - "--store=thanos-store:10901"
          - "--store=prometheus-with-thanos:10908"  # Sidecar 地址
        ports:
        - containerPort: 10902

步骤 4: 验证配置

启动所有组件后，检查数据流：
- 使用 Prometheus UI（http://localhost:9090）确认 remote_write 状态为 active。
- 查询 Thanos Query（http://thanos-query:10902）访问历史数据。
- 监控对象存储桶，确认数据已上传（如通过 AWS S3 控制台）。
调整本地保留策略：在 prometheus.yml 中设置 retention: 48h，仅保留 2 天数据。

3. 优化效果与最佳实践

磁盘空间减少：本地磁盘占用从 100% 降至 10-20%（取决于保留周期），对象存储处理长期数据。
查询性能：Thanos 支持全局查询，延迟增加但可接受（通常 <1s）。
成本效益：对象存储成本远低于高性能本地磁盘，例如 S3 每 GB 约 $0.023/月。
最佳实践：
- 数据保留：本地保留 2-7 天，远程保留 1 年以上。
- 压缩：启用 Thanos Compactor 降采样数据，减少存储量。
- 监控：使用 Prometheus 自身监控 prometheus_remote_storage_samples 指标。
- 安全：加密对象存储数据，使用 IAM 角色限制访问。