一文搞定Redis复制

深入理解Redis主从复制:原理、配置与实践 Redis作为一款高性能的键值存储数据库,广泛应用于缓存、消息队列、会话存储等场景。在实际生产环境中,单机Redis可能无法满足高可用、数据备份和读写分离的需求。因此,Redis提供了主从复制(Replication)机制,允许数据从主节点(Master)自动同步到一个或多个从节点(Slave),以提高系统的可用性和扩展性。 本文将深入探讨Redis主从复制的核心原理、配置方式、应用场景以及常见问题,帮助开发者更好地理解和应用这一功能。 阅读详情

点关注,不迷路;持续更新Java架构相关技术及资讯热文!!!

本文大纲

  • 复制过程
  • 数据间的同步
  • 全量复制
  • 部分复制
  • 心跳
  • 异步复制
  • 总结

一、复制过程

**Step 1:**从节点执行 slaveof 命令。
**Step 2:**从节点只是保存了 slaveof 命令中主节点的信息,并没有立即发起复制。
**Step 3:**从节点内部的定时任务发现有主节点的信息,开始使用 socket 连接主节点。
**Step 4:**连接建立成功后,发送 ping 命令,希望得到 pong 命令响应,否则会进行重连。
**Step 5:**如果主节点设置了权限,那么就需要进行权限验证,如果验证失败,复制终止。
**Step 6:**权限验证通过后,进行数据同步,这是耗时最长的操作,主节点将把所有的数据全部发送给从节点。
**Step 7:**当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来,主节点就会持续的把写命令发送给从节点,保证主从数据一致性。

二、数据间的同步

上面说的复制过程,其中有一个步骤是“同步数据集”,这个就是现在讲的“数据间的同步”。

redis 同步有 2 个命令:sync 和 psync,前者是 redis 2.8 之前的同步命令,后者是 redis 2.8 为了优化 sync 新设计的命令。我们会重点关注 2.8 的 psync 命令。

1、psync命令需要3个组件支持

  • 主从节点各自复制偏移量
  • 主节点复制积压缓冲区
  • 主节点运行 ID

2、主从节点各自复制偏移量

  • 参与复制的主从节点都会维护自身的复制偏移量。
  • 主节点在处理完写入命令后,会把命令的字节长度做累加记录,统计信息在 info replication 中的 masterreploffset 指标中。
  • 从节点每秒钟上报自身的的复制偏移量给主节点,因此主节点也会保存从节点的复制偏移量。
  • 从节点在接收到主节点发送的命令后,也会累加自身的偏移量,统计信息在 info replication 中。
  • 通过对比主从节点的复制偏移量,可以判断主从节点数据是否一致。

3、主节点复制积压缓冲区

  • 复制积压缓冲区是一个保存在主节点的一个固定长度的先进先出的队列,默认大小 1MB。
  • 这个队列在 slave 连接是创建。这时主节点响应写命令时,不但会把命令发送给从节点,也会写入复制缓冲区。
  • 他的作用就是用于部分复制和复制命令丢失的数据补救。通过 info replication 可以看到相关信息。

4、主节点运行ID

  • 每个 redis 启动的时候,都会生成一个 40 位的运行 ID。
  • 运行 ID 的主要作用是用来识别 Redis 节点。如果使用 ip+port 的方式,那么如果主节点重启修改了 RDB/AOF 数据,从节点再基于偏移量进行复制将是不安全的。所以,当运行 id 变化后,从节点将进行全量复制。也就是说,redis 重启后,默认从节点会进行全量复制。

5、如果在重启时不改变运行ID呢?

  • 可以通过 debug reload 命令重新加载 RDB 并保持运行 ID 不变,从而有效的避免不必要的全量复制。
  • 缺点是:debug reload 命令会阻塞当前 Redis 节点主线程,因此对于大数据量的主节点或者无法容忍阻塞的节点,需要谨慎使用。一般通过故障转移机制可以解决这个问题。

6、psync命令的使用方式

  • 命令格式为 psync{runId}{offset}
  • runId:从节点所复制主节点的运行 id
  • offset:当前从节点已复制的数据偏移量

7、psync执行流程

流程说明:

从节点发送 psync 命令给主节点,runId 就是目标主节点的 ID,如果没有默认为 -1,offset 是从节点保存的复制偏移量,如果是第一次复制则为 -1.主节点会根据 runid 和 offset 决定返回结果:

  • 如果回复 +FULLRESYNC {runId} {offset} ,那么从节点将触发全量复制流程。
  • 如果回复 +CONTINUE,从节点将触发部分复制。
  • 如果回复 +ERR,说明主节点不支持 2.8 的 psync 命令,将使用 sync 执行全量复制。

到这里,数据之间的同步就讲的差不多了,篇幅还是比较长的。主要是针对 psync 命令相关之间的介绍。

三、全量复制

全量复制是 Redis 最早支持的复制方式,也是主从第一次建立复制时必须经历的的阶段。触发全量复制的命令是 sync 和 psync。之前说过,这两个命令的分水岭版本是 2.8,redis 2.8 之前使用 sync 只能执行全量不同,2.8 之后同时支持全量同步和部分同步。

流程如下:

Step 1:发送 psync 命令(spync ?-1)
Step 2:主节点根据命令返回 FULLRESYNC
Step 3:从节点记录主节点 ID 和 offset
Step 4:主节点 bgsave 并保存 RDB 到本地
Step 5:主节点发送 RBD 文件到从节点
Step 6:从节点收到 RDB 文件并加载到内存中
Step 7:主节点在从节点接受数据的期间,将新数据保存到“复制客户端缓冲区”,当从节点加载 RDB 完毕,再发送过去。(如果从节点花费时间过长,将导致缓冲区溢出,最后全量同步失败)
Step 8:从节点清空数据后加载 RDB 文件,如果 RDB 文件很大,这一步操作仍然耗时,如果此时客户端访问,将导致数据不一致,可以使用配置slave-server-stale-data 关闭.
Step 9:从节点成功加载完 RBD 后,如果开启了 AOF,会立刻做 bgrewriteaof。

以上加粗的部分是整个全量同步耗时的地方。

注意:

  • 如过 RDB 文件大于 6GB,并且是千兆网卡,Redis 的默认超时机制(60 秒),会导致全量复制失败。可以通过调大 repl-timeout 参数来解决此问题。
  • Redis 虽然支持无盘复制,即直接通过网络发送给从节点,但功能不是很完善,生产环境慎用。

四、部分复制

当从节点正在复制主节点时,如果出现网络闪断和其他异常,从节点会让主节点补发丢失的命令数据,主节点只需要将复制缓冲区的数据发送到从节点就能够保证数据的一致性,相比较全量复制,成本小很多。

  • 当从节点出现网络中断,超过了 repl-timeout 时间,主节点就会中断复制连接。
  • 主节点会将请求的数据写入到“复制积压缓冲区”,默认 1MB。
  • 重新连接上主节点,从节点会将 offset 和主节点 id 发送到主节点。
  • 主节点校验后,如果偏移量的数后的数据在缓冲区中,就发送 cuntinue 响应 —— 表示可以进行部分复制。
  • 主节点将缓冲区的数据发送到从节点,保证主从复制进行正常状态。

五、心跳

主从节点在建立复制后,他们之间维护着长连接并彼此发送心跳命令。

心跳的关键机制如下:

  • 中从都有心跳检测机制,各自模拟成对方的客户端进行通信,通过 client list 命令查看复制相关客户端信息,主节点的连接状态为 flags = M,从节点的连接状态是 flags = S。
  • 主节点默认每隔 10 秒对从节点发送 ping 命令,可修改配置 repl-ping-slave-period 控制发送频率。
  • 从节点在主线程每隔一秒发送 replconf ack{offset} 命令,给主节点上报自身当前的复制偏移量。
  • 主节点收到 replconf 信息后,判断从节点超时时间,如果超过 repl-timeout 60 秒,则判断节点下线。

注意:

为了降低主从延迟,一般把 redis 主从节点部署在相同的机房/同城机房,避免网络延迟带来的网络分区造成的心跳中断等情况。

六、异步复制

主节点不但负责数据读写,还负责把写命令同步给从节点,写命令的发送过程是异步完成,也就是说主节点处理完写命令后立即返回客户度,并不等待从节点复制完成。

异步复制的步骤很简单,如下:

Step 1:主节点接受处理命令。
Step 2:主节点处理完后返回响应结果 。
Step 3:对于修改命令,异步发送给从节点,从节点在主线程中执行复制的命令。

七、总结

本文主要分析了 Redis 的复制原理,包括复制过程,数据之间的同步,全量复制的流程,部分复制的流程,心跳设计,异步复制流程。

其中,可以看出,RDB 数据之间的同步非常耗时。

所以,Redis 在 2.8 版本退出了类似增量复制的 psync 命令,当 Redis 主从直接发生了网络中断,不会进行全量复制,而是将数据放到缓冲区(默认 1MB)里,再通过主从之间各自维护复制 offset 来判断缓存区的数据是否溢出。如果没有溢出,只需要发送缓冲区数据即可,成本很小;反之,则要进行全量复制。因此控制缓冲区大小非常的重要。

Java_supermanNO1:专注于Java开发技术的研究与知识分享!

————END————

  • 点赞(编辑不易,感谢您的支持)

  • …

  • 转发(分享知识,传播快乐)

  • …

  • 关注(每天更新Java开发技术)

  • …

一文搞定Redis面试,附Redis面试大纲+常见Redis面试题 本文转载自:一文搞定Redis面试,附Redis面试大纲+常见Redis面试题 一、基础篇 快速上手 ①. 什么是redis ②. 为什么使用redis ③. 安装 ④. 基本使用(常见数据结构的命令) Java操作redis ①. Jedis ②. SpringBoot 启动redis的方式 ①. 配置文件 ②. 生产环境启动方案 二、进阶篇 redis实现session共享 redi... 阅读详情

相关推荐

一文搞定windows下redis的集群搭建(三主三从)

快速在windows下搭建redis三主三从集群

piaow_的博客 7597

Redis 主从复制原理分析,这篇就够了

前言 在现有企业中 80%公司大部分使用的是 redis 单机服务,在实际的场景当中单一节点的 Redis 容易面临风险。 由于无法做到故障转移,所以接下来的请求将会直接打到数据库,大量的查询使得数据库连接数达到峰值,且内部锁冲突严重,造成慢查询、连接超时等后果。所以这个时候,我们能不能把数据复制多个副本部署到其他节点上进行复制,当发生故障时,快速地手动切换连接的 Redis? 当然可以的,Redis 就为我们提供了这个功能。 主从模式能将 Master 节点的数据冗余到多台 Slave 上,配合哨兵模式能

养歌的博客 6087

[调参神器]使用VOFA+上位机进行PID调参(附下位机代码)

​ 简单地来说,VOFA+是一个超级串口助手,除了可以实现一般串口助手的串口数据收发,它还可以实现数据绘图(包括直方图、FFT图),控件编辑,图像显示等功能。​ 如果只是想要用VOFA+来进行数据绘图,直接使用一个波形图控件就行,但是如果想要把VOFA+当作一个长期使用的调参助手,我们最好设置一下控件。VOFA+简洁好用,但是又有点太简洁了,部分体验并不是很好(比如不能调整控件大小,保存文件不太方便等),所以如果学有余力,推荐自己用QT/PyQT写上位机。接下来,我们要将指令中的数据提取出来。

qq_56089182的博客 4万+

Redis主从复制原理

一、为什么需要主从复制: 1、单台Redis节点的局限性: (1)单节点的Redis能够支撑QPS大概在5万左右,如果上千万的用户访问,Redis就承载不了,成为了高并发的瓶颈。 (2)内存上,单个Redis的内存不宜过大,内存过大会导致主从同步时全量同步时间过长,而且在实例重启恢复时也会消耗很长的数据加载时间,一般控制在10G以内即可。 (2)CPU 的利用率上,单个 Redis 实例只能利用单个核心,这单个核心在面临海量数据的存取和管理工作时压力会非常大。 四、Redis主从复..

张维鹏的博客 3万+

R语言的下载、安装及环境配置(Rstudio&VSCode)

R for Windows是一个免费的用于统计计算和统计制图的优秀工具,是R语言开发工具。它拥有数据存储和处理系统、数组运算工具(其向量、矩阵运算方面功能尤其强大)、完整连贯的统计分析工具、优秀的统计制图等功能。提供的图形界面,可以在其中访问控制台、创建脚本或安装其他软件包。

zegeai的博客 2万+

别只盯着Spectre!Cadence Virtuoso里APS和Spectre X该怎么选?一份给模拟IC新手的指南

本文深入解析Cadence Virtuoso中的三大仿真引擎Spectre、APS和Spectre X,帮助模拟IC新手根据电路规模、精度需求和计算资源做出智能选择。通过对比技术指标和应用场景,提供射频电路、混合信号系统和电源管理IC的优化仿真策略,显著提升设计效率。

weixin_26841743的博客 714

Redis 主从复制的原理及演化

一、什么是主从复制 在数据库语境下,复制( replication)就是将数据从一个数据库复制到另一个数据库中。主从复制,是将数据库分为主节点和从节点,主节点源源不断地将数据复制给从节点,保证主从节点中存有相同的数据。有了主从复制,数据可以有多份副本,这带来了多种好处: 第—,提升数据库系统的请求处理能力。单个节点能够支撑的读流量有限,部多个节点,并构成主从关系,用主从复制保持主从节点数据一致,如此主从节点一起提供服务。 第二,提升整个系统的可用性。因为从节点中有主节点数据的副本,当主节点宕机后,可以

散尽浮华 6399

告别ROS1思维:在ROS2 Humble上,用Python搞定MoveIt2机械臂控制的完整流程

本文详细介绍了在ROS2 Humble环境下使用Python控制MoveIt2机械臂的完整流程。从环境配置、架构变革到实战操作,涵盖URDF适配、Action接口编程及性能优化技巧,帮助开发者高效迁移ROS1项目至ROS2平台,实现工业级机械臂控制。

weixin_30352645的博客 451

Redis主从复制原理详解,小白也能看懂!!!

文章目录什么是Redis主从复制?为什么需要对Redis主从复制?主从复制的作用Redis主从复制原理连接建立阶段(即准备阶段)数据同步阶段命令传播阶段心跳检测min-slaves选项 什么是Redis主从复制? Redis主从复制,就是说现在有多台Redis服务器,我们把他们分为master(主节点)和slave(从节点),而主从复制呢就是将 master的数据复制到 slave上面,且数据的复制是单向的,不能从 slave复制到master。 主从模式 为什么需要对Redis主从复制? 日常开发

Code皮皮虾的博客 4248

MC1496乘法器AM调制电路搭建全流程(附Multisim 14.0仿真文件)

本文提供了基于MC1496乘法器搭建AM调制电路的完整实战指南。针对仿真模型缺失的痛点,详细讲解了从晶体管级手动构建MC1496等效模型,到外围电路设计、调制度参数计算与调节,并在Multisim 14.0中进行仿真验证的全流程。通过深度剖析MC1496内部原理与AM信号调制机制,帮助读者获得从仿真到实践的可控设计与排错能力。

weixin_29190169的博客 600

使用patchelf与独立glibc解决Cursor/VSCode远程开发环境兼容性问题

本文针对Cursor/VSCode远程开发连接Ubuntu 18.04、CentOS 7等老系统时因GLIBC版本过低导致的兼容性问题,提供了一套安全高效的解决方案。核心思路是通过编译独立的glibc-2.28环境,并利用patchelf工具修改远程服务端的node可执行文件,使其优先使用新版glibc,从而在不升级系统库、不影响系统稳定性的前提下,完美解决远程开发环境“罢工”的难题。

weixin_28835789的博客 587

Redis指南【6】一文搞定主从复制

在上篇文章中,我们深入学习了 Redis 的两种不同的持久化方式,Redis 服务器通过持久化,把 Redis 内存持久化到硬盘中,当 Redis 宕机后,可以对 RDB 或 AOF 文件恢复内存中的数据。但是如果这台服务器的主机坏了,那么这些数据就丢失了吗?下面,我们来学习下主从复制机制,它可以将主机的数据复制到多台服务器上,从而保证了数据的安全性。那么 Redis 的主从复制它具体都有哪些功能呢?如何配置的主从集群呢?它的底层是如何实现的呢?

mifffy_java的博客 1069

STM32智能小车控制舵机转向

文章目录前言一、舵机简单介绍及接线方式二、cubeMX配置三、代码解析总结 前言 本文将带大家学习如何驱动舵机转向 一、舵机简单介绍及接线方式 信号线(黄线)红线(电源线)棕色(地线) 舵机的控制一般需要一个20ms左右的时基脉冲,该脉冲的高电平部分一般为0.5ms-2.5ms范围内的角度控制脉冲部分,总间隔为2ms。以180度角度伺服为例,那么对应的控制关系是这样的: 0.5ms--------------0度; 1.0ms------------45度; 1.5ms------------90度; 2

m0_49476241的博客 8614

一文搞定 Redis 复制(全会的举个手看看)

程序员的成长之路互联网/程序员/成长/职场关注阅读本文大概需要 5 分钟。本文大纲复制过程数据间的同步全量复制部分复制心跳异步复制总结一、复制过程Step 1:从节点执...

良月柒 564

企业合规审查系统开发实战:基于知识图谱与深度学习的智能引擎构建(附完整Python代码)

动态合规监测:实时追踪法规变化并更新知识库智能合约审计:区块链智能合约的自动合规检查跨域知识融合:整合财务、法律、业务多维度数据可解释性增强:基于Attention机制生成合规审查依据。

理论都是虚的,代码才是王道。 456

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

一文搞定Redis主从复制,哨兵集群,Cluster集群搭建与测试

在本文中,我们将准备三台虚拟机,安装三个Redis服务端,分别搭建Redis主从、哨兵和集群。下面我会图文结合来讲解搭建的详细过程,并对注意点加以说明,开始吧~

不二的AI笔记 703

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

一文搞定redis数据库

Redis是一个开源的内存数据库,支持多种数据结构(字符串、哈希、列表等),可用作缓存和消息队列。它性能卓越(10万QPS),提供持久化和集群方案,并包含淘汰机制和过期策略。Redis适用于高速读写场景如缓存和实时计数,但不适合作为主数据库,因其持久化非强一致且缺乏复杂查询功能。主要特点包括内存存储、多数据结构支持、高并发处理能力,以及主从复制、哨兵模式等集群策略。

老肖的博客 732

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Java学习——Redis学习总结(一文搞定入门到精通)

本文是我在日常学习中对redis方面学习的全面总结,分为三大模块。1. 入门篇总结了redis的基础知识,限于入门redis,省略了redis的安装和客户端基础命令操作,着重与java客户端以及在java环境下如何操作redis2. 进阶篇总结了redis的持久化,分布式锁,缓存,简单写了一点事务相关方面,没有总结集群,高级数据结构应用等,因为没有总结的方面我平时开发过程中用到的也甚少,了解不全面。3. 应用篇则列举了我在日常开发中用到redis的使用场景。

duehebfbf的博客 2487

Redis:从应用到底层,一文帮你搞定

Redis的内存淘汰策略的选取并不会影响过期的key的处理。内存淘汰策略用于处理内存不足时的需要申请额外空间的数据,过期策略用于处理过期的缓存数据。7、Redis 集群高可用单机问题有机器故障、容量瓶颈、QPS瓶颈。在实际应用中,Redis的多机部署时候会涉及到redis主从复制Sentinel哨兵模式。| 模式 | 优点 | 缺点 || 单机版 | 架构简单,部署方便 | 机器故障、容量瓶颈、QPS瓶颈 || 主从复制 | 高可靠性,读写分离 | 故障恢复复杂,主库的写跟存受单机限制 |

2401_85376163的博客 865

一文把Redis主从复制、哨兵、Cluster三种模式摸透

概述Redis作为缓存的高效中间件,在我们日常的开发中被频繁的使用,今天就来说一说Redis的四种模式,分别是「单机版、主从复制、哨兵、以及集群模式」。可能,在一般公司的程序员使用单机版...

架构师小秘圈 616
上一篇: 帮你更快掌握Java的四款常用工具
下一篇: 从熟练工的状态下提升到架构师的基本功和技巧
Java_supermanNO1
博客等级 码龄7年 1170粉丝 329原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值