WAL-G 故障转移存储配置指南：实现高可用备份方案-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00788/article/details/148575535

WAL-G 故障转移存储配置指南：实现高可用备份方案

wal-g Archival and Restoration for databases in the Cloud 项目地址: https://gitcode.com/gh_mirrors/wa/wal-g

概述

WAL-G 作为 PostgreSQL 数据库备份恢复工具，提供了强大的故障转移存储功能（当前为实验性特性）。这项功能允许在主存储不可用时自动切换到备用存储，有效避免因存储空间不足或服务中断导致的备份失败问题。本文将深入解析故障转移存储的工作原理、配置方法和最佳实践。

核心功能

WAL-G 支持在以下命令中使用故障转移存储：

WAL 日志操作：wal-push、wal-fetch、wal-prefetch
备份操作：backup-push、backup-fetch、backup-list
删除操作：delete 及其所有子命令

配置详解

基本配置

故障转移存储通过配置文件（而非环境变量）进行设置，配置结构如下：

WALG_FAILOVER_STORAGES:
    STORAGE_1:  # 存储名称（按字典序决定使用顺序）
        AWS_SECRET_ACCESS_KEY: "密钥1"
        AWS_ACCESS_KEY_ID: "访问ID1"
        WALE_S3_PREFIX: "s3://存储路径1/"
    STORAGE_2:
        WALG_FILE_PREFIX: "/本地存储路径"  # 支持多种存储类型

关键特性：

主存储配置位于根目录，故障转移存储配置在 WALG_FAILOVER_STORAGES 下
存储使用顺序：主存储 > 按名称排序的第一个可用故障转移存储
可通过 --target-storage 显式指定使用的存储

存储健康检测机制

WAL-G 采用双层缓存系统维护存储状态：

内存缓存：进程内共享
文件缓存：跨进程和跨实例共享

状态更新来源：

显式检查：主动探测存储是否可用（读/写）
操作监控：基于实际操作的指数移动平均(EMA)算法评估

检测参数配置

| 参数名 | 默认值 | 说明 | |--------|--------|------| | WALG_FAILOVER_STORAGES_CHECK | true | 是否启用健康检查 | | WALG_FAILOVER_STORAGES_CHECK_TIMEOUT | 30s | 显式检查超时时间 | | WALG_FAILOVER_STORAGES_CHECK_SIZE | 1mb | 写检查测试文件大小 | | WALG_FAILOVER_STORAGES_CACHE_LIFETIME | 15m | 状态缓存有效期 |

EMA 算法深度解析

EMA 算法公式：

新健康度 = (操作结果值 × α) + (前健康度 × (1 - α))

操作权重表： | 操作类型 | 权重计算 | |---------|----------| | 文件存在检查 | 1000 | | 目录列表 | 2000 | | 读文件 | max(1000, 1000×log₁₀(文件大小MB)) | | 写文件 | 同读文件 | | 删除文件 | 500 | | 复制文件 | 2000 |

状态转换阈值：

存活→死亡：健康度 ≤ 死亡阈值（默认0.88）
死亡→存活：健康度 ≥ 存活阈值（默认0.99）

动态α参数：

存活存储：α ∈ [0.01, 0.05]（随健康度降低而减小）
死亡存储：α ∈ [0.1, 0.5]（随健康度升高而减小）

最佳实践建议

多存储类型组合：建议配置至少一个远程存储（如S3）和一个本地存储作为故障转移
监控配置：
- 对于不稳定存储，可适当降低 EMA_DEAD_LIMIT
- 提高 EMA_ALPHA_DEAD_MAX 可使系统更快响应存储故障
性能调优：
- 高频操作环境下，增大 CACHE_LIFETIME 减少显式检查
- 大文件操作场景可适当提高基础权重值
测试建议：
- 使用小文件测试故障转移逻辑
- 模拟网络分区验证自动恢复能力