Redis优化基础[002]redis主从原理

主从从复制原理
保存主节点信息
主从建立socket连接
向master发送ping命令
通过权限验证
同步数据集
命令持续复制

查看日志了解运行原理 - 容器中执行命令

# vi /var/log/redis/redis.log

slave节点的解除和绑定

[root@7c133fdaaa8b /]# redis-cli
127.0.0.1:6379> slaveof no one # 解除从节点身份
127.0.0.1:6379> info replication
127.0.0.1:6379> slaveof 172.10.0.2 6379 # 设为从节点

全量复制与增量复制

• 全量复制会造成很大的开销, 所以要考虑增量复制的方式.

增量复制:

• 用于处理在主从复制中网络闪断等原因造成的数据丢失的场景;
• 当从节点再次连上主节点后(如果条件允许)主节点将像从节点补发丢失的数据;
• 如果中断时间过长,则无法进行增量复制,仍使用全量复制;

全量复制过程

• slave会发出一个同步命令, 表示要求master主机同步数据

• 主机会向从机发送runid和offset, 因为slave并没有对应的offset, 所以是全量复制

• slave会保存master的基本信息save masterInfo

• master收到全量复制的命令后, 执行bgsave,在后台生成RDB文件,并使用replbackbuffer记录从现在开始执行的所有命令

• master发送RDB给slave

• master发送复制缓冲区给slave

• slave载入主节点数据之前要清除原有数据

• slave加载RDB文件和replbackbuffer的数据

  /* 生成一个十几GB的快照,大约需要2~5分钟, 这段时间产生的写入会写到replbackbuffer */

全量复制开销

• bgsave时间
• RDB文件网络传输时间, 网络带宽
• 从节点清空数据的时间
• 从节点加载新数据的时间

增量复制过程

• master写replbackbuffer
• slave尝试连接主机
• slave把当前的runid和offset传给master, 并执行pysnc命令
• 如果master发现你的偏移量是缓冲区范围内, 就会返回continue命令
• slave同步到offset部分的数据

如果offset偏移量之后的数据, 仍然都在replbackbuffer里, 则执行增量复制

缓冲区大小的调节

• 通过配置repl-backlog-size 1mb改变缓冲区大小.

例如: 网络中断平均时间是60秒, master平均每秒产生的写命令所占用的字节数为100KB, 则repl-backlog-size 6mb, 保险起见可设置为12mb.

服务器运行id(runid)
每个服务器启动时都会生成一个随机ID每次启动都不一样, runid用来唯一识别一个Redis节点. 通过info server命令可以查看