redis cluster集群搭建

Apex Predator

已于 2023-03-11 01:06:29 修改

阅读量539

点赞数

CC 4.0 BY-SA版权

分类专栏： redis 文章标签： redis 缓存数据库

于 2023-03-10 19:03:00 首次发布

本文链接：https://blog.youkuaiyun.com/ApexPredator/article/details/129438603

redis 专栏收录该内容

7 篇文章

订阅专栏

文章详细介绍了Redis的三种集群方式，包括主从、哨兵和Cluster集群，强调了Cluster集群在支持读写分离、高可用和横向扩展方面的优势。通过实例展示了Cluster集群的搭建过程，包括配置文件设置、节点间通信和数据分片等，并提供了添加、删除节点以及主从故障切换的操作步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.前言

redis的三种集群方式对比，主从集群方式可以读写分离并配置多个从节点进行负载，但是主节点没有高可用，集群当集群内部空间不足时也没办法横向扩展，哨兵集群方式可以支持主从读写分离也可以高可用，但还是不支持横向扩展，cluster集群方式支持主从模式，也支持高可用模式，还可以横向扩展，当集群内部空间、性能不足时可以增加节点来解决，也解决了以上集群方式的写单节点的瓶颈问题,所以cluster集群方式会比主从集群和哨兵集群要好

2.cluster集群原理

2.1构成

最低需要6个节点即三主三从，每个主节点对应一个从节点

2.2数据存储

采用分片存储方式，整个redis集群有16384个哈希槽，集群中的每个节点负责一部分哈希槽，现在集群中三个主节点，就会把这些哈希槽平均分配给三个主节点，即节点Ａ存储的哈希槽范围是：0 – 5500，节点Ｂ存储的哈希槽范围是：5501 – 11000，节点Ｃ存储的哈希槽范围是：11001 – 16384，当需要扩容主节点时会将ABC的哈希槽数据提取一部分到新的主节点D上，若是删除主节点A，就需要先将A中的哈希槽数据转移到BC节点上再进行删除

2.3集群主从

为了保证集群的高可用，每个主节点都会对应一个从节点用来当作主节点的备机，当主节点宕机时集群就会提升从节点为主节点，以保证集群的正常运行，当一对主从节点都挂掉时，集群便不能正常运行，因为当一对主从节点都挂掉就会缺失了三分之一的哈希槽数据，redis的数据是不完整的

3.cluster集群搭建

3.1本试验采用四台centos7虚拟机，每台虚拟机部署一个主节点一个从节点，正常是要最少六台虚拟机，留一台主机作为后面加入集群试验，配置如下图所示

名称	ip	端口
masterA	10.1.60.114	6379
slaveA1	10.1.60.114	6380
masterB	10.1.60.115	6379
slaveB1	10.1.60.115	6380
masterC	10.1.60.80	6379
slaveC1	10.1.60.80	6380
masterD	10.1.60.112	6379
slaveD1	10.1.60.112	6380

3.2安装redis服务，从redis官网下载reids6.2版本安装包(四台主机执行下面相同操作)

redis官网下载地址: https://redis.io/download/

3.3解压下载好的安装包

tar -zxf redis-6.2.11.tar.gz

3.4进入解压后的redis目录执行安装命令

cd redis-6.2.11

make && make install

3.5关闭selinux服务

setenforce 0

3.6关闭防火墙

systemctl stop firewalld

3.7创建redis日志、集群配置文件、备份文件、redis配置文件存放目录

mkdir -p /etc/redis/redis-cluster-conf

3.8创建主节点redis配置文件(选取masterA主机去执行，以下步骤均在masterA执行)

vi /etc/redis/redis-cluster-conf/redis6379.conf

bind 0.0.0.0
port 6379      
daemonize yes
requirepass 123456
masterauth 123456 #master的密码，不配置的话主从故障切换不生效日志里会有报错
logfile /etc/redis/redis6379.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6379.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes  #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes   #开启cluster集群服务
cluster-config-file node6379.conf  #cluster集群配置文件名称，不用写路径，默认再redis的dir路径上
cluster-node-timeout 5000  #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10  #一个master有多个slave的情况下，在进行故障转移的时候全部slave都会请求申请为master，但是有些slave可能与master断开连接一段时间了导致数据过于陈旧，不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes   #集群中的所有slot（16384个）全部覆盖，才能提供服务

3.9创建slave节点配置文件(复制配置文件的时候把后面的注释内容删掉)

vi /etc/redis/redis-cluster-conf/redis6379.conf

bind 0.0.0.0
port 6380    
daemonize yes
requirepass 123456
masterauth 123456
logfile /etc/redis/redis6380.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6380.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes  #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes   #开启cluster集群服务
cluster-config-file node6380.conf  #cluster集群配置文件名称，不用写路径，默认再redis的dir路径上
cluster-node-timeout 5000  #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10  #一个master有多个slave的情况下，在进行故障转移的时候全部slave都会请求申请为master，但是有些slave可能与master断开连接一段时间了导致数据过于陈旧，不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes   #集群中的所有slot（16384个）全部覆盖，才能提供服务

3.10将这两个配置文件传输到其余三台主机

scp /etc/redis/redis-cluster-conf/redis6379.conf root@10.1.60.115:/etc/redis/redis-cluster-conf

scp /etc/redis/redis-cluster-conf/redis6380.conf root@10.1.60.115:/etc/redis/redis-cluster-conf

scp /etc/redis/redis-cluster-conf/redis6379.conf root@10.1.60.80:/etc/redis/redis-cluster-conf

scp /etc/redis/redis-cluster-conf/redis6380.conf root@10.1.60.80:/etc/redis/redis-cluster-conf

scp /etc/redis/redis-cluster-conf/redis6379.conf root@10.1.60.112:/etc/redis/redis-cluster-conf

scp /etc/redis/redis-cluster-conf/redis6380.conf root@10.1.60.112:/etc/redis/redis-cluster-conf

3.11启动所有节点redis服务(其余三台机器跟着执行以下命令)

redis-server /etc/redis/redis-cluster-conf/redis6379.conf

3.12查看redis服务端口(若是开启了防火墙需要放下以下四个端口，否则创建集群会失败)

16379和16380是集群的虚拟端口分别对应6379和6380

3.13查看/etc/redis目录下会生成aof文件、cluster集群配置文件、redis日志文件、rdb文件

ls /etc/redis

3.13创建cluster集群(IP地址排序奇数位的是主节点，–-cluster-replicas 1 表示集群每个主节点分配1个从节点，-a为指定redis密码，因为配置文件中配置了redis密码，所以必须要指定否则会报错)

redis-cli --cluster create 10.1.60.114:6379 10.1.60.114:6380 10.1.60.115:6379 10.1.60.115:6380 10.1.60.80:6379 10.1.60.80:6380 --cluster-replicas 1 -a 123456

4.集群实践

4.1检查集群状态(可在任意节点输入集群内的任意节点地址)

redis-cli --cluster check 10.1.60.114:6379 -a 123456

4.2连接cluster集群(指定任意节点地址都可以连接到集群，-c表示连接到集群)

redis-cli -c -h 10.1.60.115 -p 6380 -a 123456

cluster info #在集群内通过此命令也可以看到集群状态

4.3集群读写同步测试，在任意节点写入数据，在其它节点查看是否能读取到数据

在任意节点写入数据的时候,集群会根据算法重定向写入的节点，在任意节点读取数据集群也是会根据算法重定向到数据存储的节点去读取

4.4不指定集群模式连接任意节点读写数据

redis-cli -h 10.1.60.114 -p 6379 -a 123456

显示报错，需要连接到10.1.60.115:6379上去读写数据，连到10.1.60.115:6379上就能成功读取

4.5集群添加新的主节点

redis-cli --cluster add-node 新的节点ip:port 集群任意节点ip:port -a 密码

redis-cli --cluster add-node 10.1.60.112:6379 10.1.60.114:6380 -a 123456

查看集群状态(新加入的主节点还没有分配哈希槽,前面的一段值是每个节点的id)

redis-cli -c -h 10.1.60.115 -p 6379 -a 123456

将三个主节点的哈希槽分配一部分到新加入的主节点

redis-cli --cluster reshard 新的节点ip:port --cluster-from 集群主节点Aid，集群主节点Bid，集群主节点Cid --cluster-to 新加入的节点id --cluster-slots 分配的哈希槽值 -a 密码

redis-cli --cluster reshard 10.1.60.112:6379 --cluster-from 1fd9a4ec9a9b7b8c25c045c5da0c558b2d54d40d,9ae743f0a98d5910d7debecbb5192792dc388d19,fb3a0229f6035570b830015ddd24f4e518bb6d45 --cluster-to e9bbef89a025d65d854af967b04692c0b53c38cc --cluster-slots 4096 -a 123456