Redis主从复制(二)

主从复制工作流程

阶段二:数据同步阶段工作流程

• 在slave初次连接master后,复制master中的所有数据到slave
• 将slave的数据库状态更新成master当前的数据状态

步骤一:请求同步数据
步骤二:创建RDB同步数据
步骤三:恢复RDB同步数据
步骤四:请求部分同步数据
步骤五:恢复部分同步数据
至此,数据同步工作完成
状态:
slave:
具有master的全部数据,包含RDB过程接收的数据
master:
保存slave当前数据同步的位置
总体:完成了数据的克隆

数据同步阶段master的说明

1. 如果master数据量较大,数据同步阶段应避开流量高峰期,避免造成master阻塞,影响业务运行
2. 复制缓冲区的大小设定不合理,会导致数据溢出,如进行全量复制周期太长,进行部分复制时发现数据已经存在丢失的情况,必须进行第二次全量复制,致使slave陷入死循环

   修改master中设置缓冲区的大小:
   repl-backlog-size 1mb(默认是1兆)

3. master单机内存占用主机内存的比例不应过大,建议使用50%-70%的内存,留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区.

数据同步阶段slave的说明

1. 为避免slave进行全量复制,部分复制时服务器响应阻塞或数据不同步,建议关闭此期间的对外服务.

slave-serve-stale-data yes|no

2. 数据同步阶段,master发送给slave信息可以理解master是slave的一个客户端,主动向slave发送命令
3. 多个slave同时对master请求数据同步,master发送的RDB文件增多,会对带宽造成巨大冲击,如果master带宽不足,因此数据同步需要根据业务需求,适量错峰.
4. slave过多时,建议调整拓扑结构,由一主多从结构变为树状结构,中间的节点既是master,也是slave.注意使用树状结构时,由于层级深度,导致深度越高的slave与最顶层master间数据同步延迟较大,数据一致性变差,应该谨慎选择.

命令传播阶段(实时保持数据同步)

• 当master数据库状态被修改后,导致主从服务器数据不一致,此时需要让主从数据同步到一致的状态,同步的动作成为命令传播
• master将接收到的数据变更命令发送给slave,slave接收命令后执行命令.

命令传播阶段的部分复制

• 命令传播阶段出现断网现象
  • 网络闪断闪连 忽略
  • 短时间网络中断 部分复制
  • 长时间网络中断 全量复制
• 部分复制的三个核心要素
  • 服务器的运行Id(runid)
  • 主服务器的复制积压缓冲区
  • 主从服务器的复制偏移量

服务器运行ID(runid)

• 概念:服务器运行ID是每一台服务器每次运行的身份识别码,一台服务器多次运行可以生成多个运行id
• 组成:运行id由40位字符组成,是一个随机的十六进制字符
• 作用:运行id被用于在服务器间进行传输,识别身份.如果想两次操作均对同一台服务器进行,必须每次操作携带对应的运行id,用于对方识别
• 实现方式:运行id在每台服务器启动时自动生成的,master在首次连接slave时,会将自己的运行id发送给slave,slave保存此id,通过info Server 命令,可以查看节点的runid

复制缓冲区

• 概念:复制缓冲区,也叫主服务器的复制积压缓冲区,是一个先进先出(FIFO)的队列,用于存储服务器执行过的命令,每次传播命令,master对会将传播的命令记录下来,并存储在复制缓冲区.
  复制缓冲区默认大小是1M,由于存储空间是固定的,所以当入队元素的数量大于队列长度时,最先入队的元素会被弹出,而新元素会被放入队列.
• 由来:每台服务器启动时,如果开启有AOF或被连接成为master节点,就会创建复制缓存区
• 作用:用于保存收到master收到的所有指令(仅影响变更指令如set)
• 数据来源:当master接收到主客户端的指令时,除了将指令执行,会将该指令存储到缓冲区中.

主从服务器复制偏移量(offset)

• 概念:一个数字,描述复制缓冲区中的指令字节位置
• 分类:
  • master复制偏移量:记录发送给所有slave的指令字节对应的位置(多个)
  • slave复制偏移量:记录slave接收master发送过来的指令字节对应的位置(一个)
• 数据来源:
  master端:发送一次记录一次
  slave端:接收一次,记录一次
• 作用:同步信息,比对master与slave之间的差异,当slave断线后,恢复数据使用