Grafana Mimir 迁移指南：从 Thanos 或 Prometheus 迁移-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00719/article/details/148524845

Grafana Mimir 迁移指南：从 Thanos 或 Prometheus 迁移

mimir Grafana Mimir provides horizontally scalable, highly available, multi-tenant, long-term storage for Prometheus. 项目地址: https://gitcode.com/gh_mirrors/mimir/mimir

概述

Grafana Mimir 是一个高性能、可扩展的长期存储解决方案，专为 Prometheus 指标数据设计。本文将详细介绍如何从 Thanos 或 Prometheus 迁移到 Grafana Mimir，包括配置远程写入、上传历史 TSDB 块数据以及处理迁移过程中的特殊注意事项。

远程写入配置

要将 Prometheus 数据远程写入 Grafana Mimir，需要进行以下配置：

在 Prometheus 配置文件中添加 remote_write 部分
配置正确的 Mimir 端点地址
设置适当的认证信息（如 API 密钥）

示例配置片段：

remote_write:
  - url: http://<mimir-hostname>/api/v1/push
    basic_auth:
      username: <tenant-id>
      password: <api-key>

历史数据迁移

准备工作

确认 Prometheus 或 Thanos 的 TSDB 块存储路径

获取所有需要迁移的块目录列表：

find <storage-path> -name chunks -exec dirname {} \;

块上传工具

Grafana Mimir 提供了 mimirtool 工具来上传历史数据块：

mimirtool backfill --address=http://<mimir-hostname> --id=<tenant> <block1> <block2>...

对于需要认证的情况：

mimirtool backfill --address=http://<mimir-hostname> --id=<tenant> --key=$(cat token.txt) <block1> <block2>...

上传优化建议

对于大量数据，建议分批上传
监控上传进度和资源使用情况
考虑网络带宽限制，适当调整并发度

块元数据处理

元数据差异

Prometheus 块：不包含外部标签
Thanos 块：包含外部标签（存储在 meta.json 中）
Grafana Mimir 块：
- 2.1 及更早版本：包含租户标识标签
- 2.2 及更新版本：不再包含租户标识标签

处理大块上传问题

如果遇到 Nginx 413 错误（请求实体过大），需要：

检查块大小：

find <path> -name 'chunks' -printf '%s\n' | numfmt --to=iec-i

调整 Nginx 配置：

server {
    client_max_body_size 540M;
}

Thanos 特有功能处理

注意事项

外部标签：Mimir 不会像 Thanos 那样注入外部标签到查询结果中
去重标签：Mimir 不会使用 Thanos 配置的去重标签
降采样数据：Mimir 不支持 Thanos 的降采样功能

最佳实践

仅上传原始（未降采样）数据块
对于 HA 部署，只上传每个副本组中的一个实例的数据
考虑在迁移前预处理外部标签

详细迁移步骤

1. 创建中间存储桶

建议使用中间存储桶作为数据处理的临时区域：

# AWS S3
aws s3 cp --recursive s3://<thanos-bucket> s3://<intermediate-bucket>/

# Google Cloud Storage
gsutil -m cp -r gs://<thanos-bucket>/* gs://<intermediate-bucket>/

2. 清理降采样块

thanos tools bucket retention \
    --objstore.config-file bucket.yaml \
    --retention.resolution-1h=1s \
    --retention.resolution-5m=1s \
    --retention.resolution-raw=0s

thanos tools bucket cleanup \
    --objstore.config-file bucket.yaml \
    --delete-delay=0

3. 处理重复块

识别并标记要删除的副本块：

thanos tools bucket inspect \
    --objstore.config-file bucket.yaml \
    --output=tsv > blocks.tsv

cat blocks.tsv | grep prometheus_replica=<replica-to-drop> \
    | awk '{print $1}' > blocks_to_drop.tsv

for ID in $(cat blocks_to_drop.tsv)
do
    thanos tools bucket mark \
       --objstore.config-file bucket.yaml \
       --details="Removed as duplicate" \
       --id $ID
done

4. 重写块元数据

创建重写配置文件（relabel-config.yaml）：

- action: replace
  target_label: "<label-key>"
  replacement: "<label-value>"

执行重写操作：

for ID in $(cat blocks-to-rewrite.tsv)
do
    thanos tools bucket rewrite \
        --objstore.config-file bucket.yaml \
        --rewrite.to-relabel-config-file relabel-config.yaml \
        --no-dry-run \
        --delete-blocks \
        --id $ID
done

5. 移除 Thanos 标签

使用脚本处理 meta.json 文件，移除 Thanos 特定标签：

#!/bin/bash
BUCKET="your-bucket-name"

# AWS S3 版本
aws s3 ls $BUCKET --recursive | awk '{print $4}' | grep meta.json | grep -v meta.json.orig > meta-files.txt

for FILE in $(cat meta-files.txt); do
   ORIG_META_JSON=$(aws s3 cp s3://$BUCKET/$FILE -)
   UPDATED_META_JSON=$(echo "$ORIG_META_JSON" | jq "del(.thanos.labels)")
   
   if ! diff -u <( echo "$ORIG_META_JSON" | jq . ) <( echo "$UPDATED_META_JSON" | jq .) > /dev/null; then
     aws s3 cp "s3://$BUCKET/$FILE" "s3://$BUCKET/$FILE.orig"
     echo "$UPDATED_META_JSON" | aws s3 cp - "s3://$BUCKET/$FILE"
   fi
done

6. 最终迁移

将处理后的数据复制到 Mimir 存储桶：

# AWS S3
aws s3 cp --recursive s3://<intermediate-bucket> s3://<mimir-bucket>/<tenant>/

# Google Cloud Storage
gsutil -m cp -r gs://<intermediate-bucket>/* gs://<mimir-bucket>/<tenant>/