redis-full-check校验工具

最新推荐文章于 2024-08-15 10:16:49 发布

DBA界的小学生

最新推荐文章于 2024-08-15 10:16:49 发布

阅读量934

点赞数

分类专栏： redis 文章标签： redis

本文链接：https://blog.youkuaiyun.com/m0_37827567/article/details/118031684

版权

redis 专栏收录该内容

2 篇文章

订阅专栏

介绍redis-full-check工具，用于校验两个Redis实例间数据一致性，支持多种部署模式及版本，通过多轮比较确保数据准确迁移。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具，通常用于redis数据迁移（redis-shake）后正确性的校验。
支持：单节点、主从版、集群版、带proxy的云上集群版（阿里云）之间的同构或者异构对比，版本支持2.x-5.x。
redis-full-check通过全量对比源端和目的端的redis中的数据的方式来进行数据校验，其比较方式通过多轮次比较：每次都会抓取源和目的端的数据进行差异化比较，记录不一致的数据进入下轮对比（记录在sqlite3 db中）。然后通过多轮比较不断收敛，减少因数据增量同步导致的源库和目的库的数据不一致。最后sqlite中存在的数据就是最终的差异结果。

比较原理

对比模式（comparemode）有三种可选：

KeyOutline：只对比key值是否相等。
ValueOutline：只对比value值的长度是否相等。
FullValue：对比key值、value长度、value值是否相等。

第一轮，首先找出在源库上所有的key，然后分别从源库和目的库抓取进行比较。
第二轮开始迭代比较，只比较上一轮结束后仍然不一致的key和field。

对于key不一致的情况，包括lack_source ，lack_target 和type，从源库和目的库重新取key、value进行比较。
value不一致的string，重新比较key：从源和目的取key、value比较。
value不一致的hash、set和zset，只重新比较不一致的field，之前已经比较且相同的filed不再比较。这是为了防止对于大key情况下，如果更新频繁，将会导致校验永远不通过的情况。
value不一致的list，重新比较key：从源和目的取key、value比较。
每轮之间会停止一定的时间（Interval）。
对于hash，set，zset，list大key处理采用以下方式：

len <= 5192，直接取全量field、value进行比较，使用如下命令：hgetall，smembers，zrange 0 -1 withscores，lrange 0 -1。
len > 5192，使用hscan，sscan，zscan，lrange分批取field和value。

参数说明

redis-full-check中主要参数如下：

 -s, --source=SOURCE               源redis库地址（ip:port），如果是集群版，那么需要以分号（;）分割不同的db，只需要配置主或者从的其中之一。例如：10.1.1.1:1000;10.2.2.2:2000;10.3.3.3:3000。
  -p, --sourcepassword=Password     源redis库密码
      --sourceauthtype=AUTH-TYPE    源库管理权限，开源reids下此参数无用。
      --sourcedbtype=               源库的类别，0：db(standalone单节点、主从)，1: cluster（集群版），2: 阿里云
      --sourcedbfilterlist=         源库需要抓取的逻辑db白名单，以分号（;）分割，例如：0;5;15表示db0,db5和db15都会被抓取
  -t, --target=TARGET               目的redis库地址（ip:port）
  -a, --targetpassword=Password     目的redis库密码
      --targetauthtype=AUTH-TYPE    目的库管理权限，开源reids下此参数无用。
      --targetdbtype=               参考sourcedbtype
      --targetdbfilterlist=         参考sourcedbfilterlist
  -d, --db=Sqlite3-DB-FILE          对于差异的key存储的sqlite3 db的位置，默认result.db
      --comparetimes=COUNT          比较轮数
  -m, --comparemode=                比较模式，1表示全量比较，2表示只对比value的长度，3只对比key是否存在，4全量比较的情况下，忽略大key的比较
      --id=                         用于打metric
      --jobid=                      用于打metric
      --taskid=                     用于打metric
  -q, --qps=                        qps限速阈值
      --interval=Second             每轮之间的时间间隔
      --batchcount=COUNT            批量聚合的数量
      --parallel=COUNT              比较的并发协程数，默认5
      --log=FILE                    log文件
      --result=FILE                 不一致结果记录到result文件中，格式：'db    diff-type    key    field'
      --metric=FILE                 metric文件
      --bigkeythreshold=COUNT       大key拆分的阈值，用于comparemode=4
  -f, --filterlist=FILTER           需要比较的key列表，以分号（;）分割。例如："abc*|efg|m*"表示对比'abc', 'abc1', 'efg', 'm', 'mxyz'，不对比'efgh', 'p'。
  -v, --version

下载地址

wget https://github.com/alibaba/RedisFullCheck/releases/download/release-v1.4.8-20200212/redis-full-check-1.4.8.tar.gz

对比结果

命令参考：

./redis-full-check -s "192.168.1.204:6460;192.168.1.205:6446;192.168.1.205:6447" -t "192.168.1.204:6458;192.168.1.205:6444;192.168.1.205:6445" --comparemode=1 --comparetimes=1 --qps=100   --sourcedbtype=1 --targetdbtype=1

结果会保存在sqlite3 db file中，不指定的话，就是当前目录的 result.db 文件
sqlite3 result.db 登录
.quit 退出登录
sqlite> select * from key; 查看异常key
在这里插入图片描述

导出查询结果方便awk

sqlite3 result.db.1 -cmd "select * from key;" .quit >a.txt