redis集群（主从同步、哨兵、群集）

最新推荐文章于 2025-02-06 14:26:57 发布
最新推荐文章于 2025-02-06 14:26:57 发布
阅读量802 收藏 20
点赞数 8
文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lihui12356/article/details/143307091
版权

一、redis主从复制

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(Master)，后者称为从节点(Slave)；数据的复制是单向的，只能由主节点到从节点。

默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。

1.1 主从复制的作用

  • 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
  • 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
  • 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
  • 高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

1.2 主从复制的流程

  1. 首次同步：当从节点要进行主从复制时，它会发送一个SYNC命令给主节点。主节点收到SYNC命令后，会执行BGSAVE命令来生成RDB快照文件，并在生成期间使用缓冲区记录所有写操作。
  2. 快照传输：当主节点完成BGSAVE命令并且快照文件准备好后，将快照文件传输给从节点。主节点将快照文件发送给从节点，并且在发送过程中，主节点会继续将新的写操作缓冲到内存中。
  3. 追赶复制：当从节点收到快照文件后，会加载快照文件并应用到自己的数据集中。一旦快照文件被加载，从节点会向主节点发送一个PSYNC命令，以便获取缓冲区中未发送的写操作。
  4. 增量复制：主节点收到PSYNC命令后，会将缓冲区中未发送的写操作发送给从节点，从节点会执行这些写操作，保证与主节点的数据一致性。此时，从节点已经追赶上了主节点的状态。
  5. 同步：从节点会继续监听主节点的命令，并及时执行主节点的写操作，以保持与主节点的数据同步。主节点会定期将自己的操作发送给从节点，以便从节点保持最新的数据状态.

1.3 搭建redis主从复制

实验机器准备

Master节点：192.168.23.70
Slave1节点：192.168.23.60
Slave2节点：192.168.23.90

1.3.1 环境准备

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

1.3.2 修改内核参数

vim /etc/sysctl.conf

vm.overcommit_memory = 1
net.core.somaxconn = 2048

sysctl -p

1.3.3 安装redis

yum install -y gcc gcc-c++ make

tar zxvf /opt/redis-7.0.9.tar.gz -C /opt/
cd /opt/redis-7.0.9
make
make PREFIX=/usr/local/redis install
#由于Redis源码包中直接提供了 Makefile 文件，所以在解压完软件包后，不用先执行 ./configure 进行配置，可直接执行 make 与 make install 命令进行安装。

1.3.4 创建redis工作目录

mkdir /usr/local/redis/{conf,log,data}

cp /opt/redis-7.0.9/redis.conf /usr/local/redis/conf/

useradd -M -s /sbin/nologin redis
chown -R redis.redis /usr/local/redis/

1.3.5 环境变量

vim /etc/profile 

PATH=$PATH:/usr/local/redis/bin		#增加一行

source /etc/profile

1.3.6 定义systemd服务管理脚本

vim /usr/lib/systemd/system/redis-server.service

[Unit]
Description=Redis Server
After=network.target

[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

1.3.7 修改 Redis 配置文件（Master节点操作）

vim /usr/local/redis/conf/redis.conf

bind 0.0.0.0									#87行，修改监听地址为0.0.0.0
protected-mode no								#111行，将本机访问保护模式设置no
port 6379										#138行，Redis默认的监听6379端口
daemonize yes									#309行，设置为守护进程，后台启动
pidfile /usr/local/redis/log/redis_6379.pid		#341行，指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"	#354行，指定日志文件
dir /usr/local/redis/data						#504行，指定持久化文件所在目录
#requirepass abc123								#1037行，可选，设置redis密码
appendonly yes									#1380行，开启AOF

 systemctl restart redis-server.service

1.3.8 修改 Redis 配置文件（Slave节点操作）

vim /usr/local/redis/conf/redis.conf

bind 0.0.0.0									#87行，修改监听地址为0.0.0.0
protected-mode no								#111行，将本机访问保护模式设置no
port 6379										#138行，Redis默认的监听6379端口
daemonize yes									#309行，设置为守护进程，后台启动
pidfile /usr/local/redis/log/redis_6379.pid		#341行，指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"	#354行，指定日志文件
dir /usr/local/redis/data						#504行，指定持久化文件所在目录
#requirepass abc123								#1037行，可选，设置redis密码
appendonly yes									#1380行，开启AOF
replicaof 192.168.80.10 6379					#528行，指定要同步的Master节点IP和端口
#masterauth abc123								#535行，可选，指定Master节点的密码，仅在Master节点设置了requirepass

 systemctl restart redis-server.service

1.4 验证主从效果

1.4.1 在Master节点上看日志

tail -f /usr/local/redis/log/redis_6379.log 

Replica 192.168.80.11:6379 asks for synchronization
Replica 192.168.80.12:6379 asks for synchronization
Synchronization with replica 192.168.80.11:6379 succeeded
Synchronization with replica 192.168.80.12:6379 succeeded

1.4.2 在Master节点上验证从节点

redis-cli info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.80.11,port=6379,state=online,offset=1246,lag=0
slave1:ip=192.168.80.12,port=6379,state=online,offset=1246,lag=1

二、Redis 哨兵模式

主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。

哨兵的核心功能：在主从复制的基础上，哨兵引入了主节点的自动故障转移。

2.1 哨兵模式的作用

  • 监控：哨兵会不断地检查主节点和从节点是否运作正常。
  • 自动故障转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从节点升级为新的主节点，并让其它从节点改为复制新的主节点。
  • 通知（提醒）：哨兵可以将故障转移的结果发送给客户端。

哨兵结构由两部分组成，哨兵节点和数据节点：

  • 哨兵节点：哨兵系统由一个或多个哨兵节点组成，哨兵节点是特殊的redis节点，不存储数据。
  • 数据节点：主节点和从节点都是数据节点。

2.2 故障转移机制

  1. 由哨兵节点定期监控发现主节点是否出现了故障

每个哨兵节点每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。如果主节点在一定时间范围内不回复或者是回复一个错误消息，那么这个哨兵就会认为这个主节点主观下线了（单方面的）。当超过半数哨兵节点认为该主节点主观下线了，这样就客观下线了

     2. 当主节点出现故障，此时哨兵节点会通过Raft算法（选举算法）实现选举机制共同选举出一个哨兵节点为leader，来负责处理主节点的故障转移和通知。所以整个运行哨兵的集群的数量不得少于3个节点。

     3. 由leader哨兵节点执行故障转移，过程如下：

  • 将某一个从节点升级为新的主节点，让其它从节点指向新的主节点；
  • 若原主节点恢复也变成从节点，并指向新的主节点；
  • 通知客户端主节点已经更换。

需要特别注意的是，客观下线是主节点才有的概念；如果从节点和哨兵节点发生故障，被哨兵主观下线后，不会再有后续的客观下线和故障转移操作。

2.3 主节点的选举

  1. 过滤掉不健康的（已下线的），没有回复哨兵 ping 响应的从节点。
  2. 选择配置文件中从节点优先级配置最高的。（replica-priority，默认值为100）
  3. 选择复制偏移量最大，也就是复制最完整的从节点。

哨兵的启动依赖于主从模式，所以须把主从模式安装好的情况下再去做哨兵模式

2.4 搭建Redis 哨兵模式

2.4.1 实验环境准备

Master节点：192.168.80.10
Slave1节点：192.168.80.11
Slave2节点：192.168.80.12

systemctl stop firewalld
setenforce 0

2.4.2 修改 Redis 哨兵模式的配置文件（所有节点操作）

cp /opt/redis-7.0.9/sentinel.conf /usr/local/redis/conf/
chown redis.redis /usr/local/redis/conf/sentinel.conf

vim /usr/local/redis/conf/sentinel.conf

protected-mode no									#6行，关闭保护模式
port 26379											#10行，Redis哨兵默认的监听端口
daemonize yes										#15行，指定sentinel为后台启动
pidfile /usr/local/redis/log/redis-sentinel.pid		#20行，指定 PID 文件
logfile "/usr/local/redis/log/sentinel.log"			#25行，指定日志存放路径
dir /usr/local/redis/data							#54行，指定数据库存放路径
sentinel monitor mymaster 192.168.80.10 6379 2		#73行，修改 指定该哨兵节点监控192.168.80.10:6379这个主节点，该主节点的名称是mymaster，最后的2的含义与主节点的故障判定有关：至少需要2个哨兵节点同意，才能判定主节点故障并进行故障转移
#sentinel auth-pass mymaster abc123					#76行，可选，指定Master节点的密码，仅在Master节点设置了requirepass
sentinel down-after-milliseconds mymaster 3000		#114行，判定服务器down掉的时间周期，默认30000毫秒（30秒）
sentinel failover-timeout mymaster 180000			#214行，同一个sentinel对同一个master两次failover之间的间隔时间（180秒）

2.4.3 启动哨兵模式

先启master，再启slave

cd /usr/local/redis/conf/
redis-sentinel sentinel.conf &

 

2.4.4 查看哨兵信息

redis-cli -p 26379 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.80.10:6379,slaves=2,sentinels=3

2.4.5 故障模拟

#查看redis-server进程号

ps -ef | grep redis
root      57031      1  0 15:20 ?        00:00:07 /usr/local/bin/redis-server 0.0.0.0:6379
root      57742      1  1 16:05 ?        00:00:07 redis-sentinel *:26379 [sentinel]
root      57883  57462  0 16:17 pts/1    00:00:00 grep --color=auto redis

 #杀死 Master 节点上redis-server的进程号

kill -9 57031            #Master节点上redis-server的进程号

验证结果

tail -f /usr/local/redis/log/sentinel.log

 redis-cli -p 26379 INFO Sentinel

# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_tilt_since_seconds:-1
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.80.11:6379,slaves=2,sentinels=3

 

三、Redis 群集模式

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。

集群由多组节点(Node)组成，Redis的数据分布在这些节点组中。节点组中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制。

3.1 集群的作用

  1. 高可用：集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。
  2. 数据分区：数据分区(或称数据分片)是集群最核心的功能。
    集群将数据分散到多组节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。
    Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

3.2 Redis集群的数据分片

Redis集群引入了哈希槽的概念
Redis集群有16384个哈希槽（编号0-16383）
集群的每组节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作

以3个节点组成的集群为例：

节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽

Redis集群的主从复制模型

集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用。

3.3 搭建Redis 群集模式

redis的集群一般需要6个节点，3主3从。

可以使用同一服务器六个端口进行模拟    也可以六台不同机器   我这边采用六台机器模拟

每台服务器安装好redis

配置文件开启群集功能

cd /usr/local/redis/conf/redis.conf

#bind 127.0.0.1									#87行，注释掉bind项，默认监听所有网卡
protected-mode no								#111行，关闭保护模式
port 6001										#138行，修改redis监听端口
daemonize yes									#309行，设置为守护进程，后台启动
pidfile /usr/local/redis/log/redis_6001.pid		#341行，指定 PID 文件
logfile "/usr/local/redis/log/redis_6001.log"	#354行，指定日志文件
dir ./											#504行，指定持久化文件所在目录
appendonly yes									#1379行，开启AOF
cluster-enabled yes								#1576行，取消注释，开启群集功能
cluster-config-file nodes-6001.conf				#1584行，取消注释，群集名称文件设置
cluster-node-timeout 15000						#1590行，取消注释群集超时时间设置

启动服务查看端口状态

启动集群

redis-cli -a abc123 --cluster create 192.168.23.10:6379 192.168.23eplicas 1

因为我这边配置文件设置了密码  所有要加-a 密码

测试群集

redis-cli -a abc123        #加-c参数，节点之间就可以互相跳转

127.0.0.1:6379> cluster slots			#查看节点的哈希槽编号范围

或者使用 cluster nodes 查看

cluster nodes

墨水\\
关注
mysql redis集群 同步_redis集群数据怎么同步
weixin_42099755的博客
02-02 1240
redis没有像mysql那样复制位置的概念，所以Slave和Master断开连接再重新连接时，会全量取Master的快照，Slave的所有数据都会清除，重新建立整个内存表，这样导致Salve恢复数据特别慢，同时也给Master带来的压力。Redis的主从复制策略是通过其持久化的rdb文件来实现的，其过程是先dump出rdb文件，将rdb文件全量传输给slave，然后再将dump后的操作实时同步到...
集群之间数据同步_Redis集群——主从复制数据同步
weixin_34239861的博客
01-02 3814
前言这篇开始要进入Redis集群的技术研究了，我们按照顺序会至少分四部分来介绍：主从复制、哨兵模式、Gossip协议和一致性哈希以及Redis集群。主从复制是高可用的基石，哨兵模式提供了主从架构中的自动故障恢复能力， Gossip协议和一致性哈希提供了集群中新加入节点和退出节点的发现以及节点加入或退出引起的数据重分配，最后基于上述的几个核心技术实现了高可用的Redis集群。Redis作为一个内存数...
redis集群-主从同步、哨兵模式、Cluster 集群
m0_37235955的博客
04-06 6482
集群的三种模式： 一、主从同步/复制 redis有俩种复制模式：Rdb和aof redis持久化问题；会有数据损失吗，开启aof的持久化吗； redis提供2种持久化方案。rdb和aof redis有自己默认的持久化方案 （Rdb 方案） Rdb(默认)：在指定的时间间隔内将内存中的数据集快照写入磁盘，实际操作过程是fork一个子进程，先将数据集写入临时文件，写入成功后，再替换之...
4.2.Redis高并发高可用（主从复制、哨兵）
最新发布
weixin_46147842的博客
02-06 883
Redis高并发高可用（Redis主从复制、Redis哨兵）
Redis集群中的节点如何保证数据一致
weixin_33856370的博客
04-24 3346
主从复制： 1、redis的复制功能是支持多个数据库之间的数据同步。一类是主数据库（master）一类是从数据库（slave），主数据库可以进行读写操作，当发生写操作的时候自动将数据同步到从数据库，而从数据库一般是只读的，并接收主数据库同步过来的数据，一个主数据库可以有多个从数据库，而一个从数据库只能有一个主数据库。 2、通过redis的复制功能可以很好的实现数据库的读写分离，提高服务器的负载能力...
redis集群数据同步
T_LOYO的博客
12-19 931
将A生产服务器的Redis集群数据备份同步到B服务器。(从阿里云下载备份数据，然后做同步)
redis集群同步迁移方法（一）：通过redis replication实现
weixin_30817749的博客
10-27 293
redis集群同步迁移方法（一）：通过redis replication实现 讲到redis的迁移，一般会使用rdb或者aof在主库做自动重载到目标库方法。但该方法有个问题就是无法保证源节点数据和目标节点数据保持一致，一般线上环境也不允许源库停机，所以要在迁移过程后还要实现同步达到数据的一致性。公司线上环境使用的是redis自己的...
redis—主从，哨兵，集群
且将&的博客
12-11 799
redis—主从，哨兵，集群
Redis（主从、哨兵、集群）
weixin_49051298的博客
04-25 7769
一、Redis集群介绍 1.主从复制： 是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 2.哨兵： 在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷：写操作无法负载均衡；存储能力受到单机的限制；哨兵无法对从节点进行自动故障转移，在读写分离场景下，从节点故障会导致读服务不可用，需要对从节点做额外的监控、切换操作。 3.集群： 通过集群，R
Redis集群架构搭建——主从、哨兵、集群
沐雨橙风ιε的博客
09-22 1249
Redis集群架构搭建——主从、哨兵、集群
搭建Redis主从复制、哨兵、集群模式
weixin_72753070的博客
07-23 317
首先单节点Redis服务器会带来单点故障，服务不可用，其次由于Redis默认是单进程，无法处理大量的并发数据请求，那么若是开启多进程又会导致cpu压力过大，重中之重的是数据丢失是一大灾难，为了避免以上情况，需要Redis服务器数量，但是增加服务器数据并不是单一的增加，需要搭建Redis集群模式，从而共享任务/资源。Redis集群是一个提供在多个Redis间节点间共享数据的程序集主从同步/复制哨兵模式Cluster。...
Redis（主从复制、哨兵模式、集群）概述及部署
shanjun12的博客
04-02 697
Redis（主从复制、哨兵模式、集群）概述及部署
【Redis】Redis集群：主从同步
ccystewart的博客
05-31 466
当网络分区发生时，一致性和可用性两难全。 Redis的一致性与可用性 Redis的主从数据是异步同步的，分布式的Redis并不满足一致性要求。但Redis保证最终一致性，从节点会采用多种策略追赶，尽力保持和主节点一致。 客户端在Redis主节点修改了数据后，立即返回，即使在主从网络断开的情况下，主节点依旧可以正常对外提供修改服务，所以Redis满足可用性。 增量同步 Redis同步的是指令流，主节点会将产生修改性影响的指令记录在本地内存buffer中，然后异步将buffer中的指令同步到从节点。从节点则一.
Redis集群，主从同步
weixin_44187149的博客
03-02 297
为什么要使用redis & 缓存不是真正存储数据的位置，而是为了方便操作，建立的一个临时的存储区域，运行程序从缓存中拿到数据或存放数据的速度非常快，也非常方便，但是，缓存中的数据最后还是要放回硬盘中原本属于它的地方。 所以，没有缓存的程序，运行效果和运行方式不会受到任何影响，但是实际执行业务的效率会很低。 Redis就是一个缓存数据库，一个程序不用Redis可以，但应该有其他的缓存。 ...
redis集群如何同步
2301_78145669的博客
05-23 1320
如果真的是这样的话，服务器的利用率和性能就太低了，因为先放第一个，其他的服务器节点就闲置下来了，单个节点的压力就会非常的大，其实就相当于退化成为了单机服务。是如何把数据分配到集群中的每一个节点的，可能有人会说，把集群中的每一个节点编号，先放第一个节点，放满了就放第二个节点，以此类推。一个数据的时候，首先会查找这个数据对应的槽位是多少，然后查找对应的节点，然后才把数据放入这个节点。匀的分配到集群中的每一个节点上，从而做到了每一个节点的负载均衡，充分发挥了集群的威力。的方式，但是有着增删节点重算的致命问题。
redis两个集群间数据增量同步
weixin_28947385的博客
07-22 288
redis相关学习资料：https://edu.51cto.com/video/4196.htmlRedis两个集群间数据增量同步 Redis 是一种高性能的键值存储系统，广泛应用于缓存、消息队列、排行榜等场景。在实际应用中，我们可能会遇到需要在两个 Redis 集群之间同步数据的需求。本文将介绍如何实现 Redis 两...
深刻理解Redis集群（中）：Redis主从数据同步模式
Diligence is the mother of success.
09-28 1321
背景目前实现Redis高可用的模式主要有三种：主从模式、哨兵模式、集群模式。今天我们先来聊一下主从模式。Redis 提供的主从模式，是通过复制的方式，将主服务器上的Redis的数据同步复制一份到从 Redis 服务器，这种做法很常见，MySQL通过binlog进行的主从复制也是这么做的。主节点的Redis我们称之为master，从节点的Redis我们称之为slave，主从复制为单向复制，只能由主到...
Redis集群系列八 —— 集群间数据同步原理
旷野历程
01-01 2439
Redis 集群间怎么实现数据同步
Matlab建立FP-Tree Matlab树结构
一只博客
01-13 5299
安利一下Matlab用于查询函数用法的官网https://ww2.mathworks.cn/help/matlab/ 一、要求 给定2013,2014,2015,2016,2017的福彩双色球数据，共767期数据 (1) 使用一种编程语言实现FP-tree的建树算法，并...
redis 集群 主从 哨兵
09-08
最后，可以参考相关的使用博客来了解更多关于Windows Redis主从集群实例加哨兵集群的详细使用方法和配置步骤。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值