Redis集群搭建

最新推荐文章于 2025-04-01 15:35:28 发布
最新推荐文章于 2025-04-01 15:35:28 发布
阅读量641 收藏
点赞数
文章标签： redis 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41354978/article/details/115819474
版权
本文详细介绍了Redis集群的搭建过程，包括节点启动、槽指派、集群配置、文件同步及集群启动方法。讲解了如何使用CLUSTERMEET命令连接节点，节点槽指派信息的记录与传播，以及故障检测与转移机制。此外，还提供了手动和使用redis-trib.rb或redis-cli启动集群的步骤，涵盖了防火墙设置、配置文件修改、数据同步和错误处理等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

Redis集群搭建

一、节点

1. 启动节点

2 . 数据结构

3. Cluster Meet命令实现

二、槽指派

1、节点槽指派信息记录

2、节点槽指派信息传播

1. 复制与故障转移

2. 消息

三、 集群搭建

1、下载安装redis

2、单机配置

3、集群配置

4.集群间文件同步

四、集群启动

1、手动启动集群

2、使用官方redsi-trib.rb或redis-cli启动集群

Redis集群搭建

一、节点

一个Redis集群通常由多个节点（node）组成，在刚开始的时候，每个节点都是相互独立的，它们都处于一个只包含自己的集群当中，要组建一个真正可工作的集群，我们必须将各个独立的节点连接起来，构成一个包含多个节点的集群

1. 启动节点

2 . 数据结构

clusterNode：保存节点当前状态信息

clusterState：这个结构记录了在当前节点的视角下，集群目前所处的状态

3. Cluster Meet命令实现

通过向节点A发送CLUSTER MEET命令，客户端可以让接收命令的节点A将另一个节点B添加到节点A当前所在的集群里面，之后，节点A会将节点B的信息通过Gossip协议传播给集群中的其他节点，让其他节点也与节点B进行握手，最终，经过一段时间之后，节点B会被集群中的所有节点认识

CLUSTER MEET <ip> <port>

二、槽指派

Redis集群通过分片的方式来保存数据库中的键值对：集群的整个数据库被分为16384个槽（slot），数据库中的每个键都属于这16384个槽的其中一个，集群中的每个节点可以处理0个或最多16384个槽

当数据库中的16384个槽都有节点在处理时，集群处于上线状态（ok）；相反地，如果数据库中有任何一个槽没有得到处理，那么集群处于下线状态（fail）

槽指派：CLUSTER ADDSLOTS <slot> [slots...]

1、节点槽指派信息记录

clusterNode结构的slots属性和numslot属性记录了节点负责处理哪些槽

slots属性是一个二进制位数组（bit array），这个数组的长度为16384/8=2048个字节，共包含16384个二进制位。Redis以0为起始索引，16383为终止索引，对slots数组中的16384个二进制位进行编号，并根据索引i上的二进制位的值来判断节点是否负责处理槽i

2、节点槽指派信息传播

集群中的每个节点都会将自己的slots数组通过消息发送给集群中的其他节点，并且每个接收到slots数组的节点都会将数组保存到保存到clusterState.nodes字典中相应节点的clusterNode结构里

1. 复制与故障转移

故障检测：集群中的每个节点都会定期地向集群中的其他节点发送PING消息，以此来检测对方是否在线，如果接收PING消息的节点没有在规定的时间内，向发送PING消息的节点返回PONG消息，那么发送PING消息的节点就会将接收PING消息的节点标记为疑似下线（probable fail，PFAIL）

clusterState.nodes字典中对应的疑似下线节点的flags属性中打开REDIS_NODE_PFAIL标识

节点下线：如果在一个集群里面，半数以上负责处理槽的主节点都将某个主节点x报告为疑似下线，那么这个主节点x将被标记为已下线（FAIL），将主节点x标记为已下线的节点会向集群广播一条关于主节点x的FAIL消息，所有收到这条FAIL消息的节点都会立即将主节点x标记为已下线

故障转移：当一个从节点发现自己正在复制的主节点进入了已下线状态时，从节点将开始对下线主节点进行故障转移

  1. 复制下线主节点的所有从节点里面，会有一个从节点被选中
  2. 被选中的从节点会执行SLAVEOF no one命令，成为新的主节点
  3. 新的主节点会撤销所有对已下线主节点的槽指派，并将这些槽全部指派给自己
  4. 新的主节点向集群广播一条PONG消息，这条PONG消息可以让集群中的其他节点立即知道这个节点已经由从节点变成了主节点，并且这个主节点已经接管了原本由已下线节点负责处理的

2. 消息

消息类型

  1. MEET消息：当消息发送者接收到客户端发送的CLUSTER MEET命令时，发送者会向接收者发送MEET消息，请求接收者加入到发送者当前的集群中
  2. PING消息：集群里的每个节点默认每隔一秒钟就会从已知节点列表中随机选出五个节点，然后对这五个节点中最长时间没有发送过PING消息的节点发送PING消息，以此来检测被选中的节点是否在线
  3. PONG消息：
  4. FAIL消息：
  5. PFAIL消息：

三、 集群搭建

1、下载安装redis

1、获取redis安装包
$ wget http://download.redis.io/releases/redis-6.0.0.tar.gz

2、解压安装包
$ tar -xzvf redis-6.0.0.tar.gz

3、编译redis
$ make

4、## 编译报错 /bin/sh: cc: 未找到命令
$ yum install gcc-c++ -y ## 安装gcc

5、## 编译报错 make[1]: *** [server.o] 错误 1  
   ## gcc版本过低  gcc -v 查看版本  4.8.5  升级版本
$ yum -y install centos-release-scl
$ yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
#这句是临时的
$ scl enable devtoolset-9 bash
#修改环境变量
$ echo "source /opt/rh/devtoolset-9/enable" >> /etc/profile
$ gcc -v

6、重新编译
$ make 

7、指定目录安装redis
$ make PREFIX=/usr/local/yjx/redis/redis-6.0.0

2、单机配置

1、允许所有ip访问redis服务
注释掉 bind 127.0.0.1

2、Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
daemonize no

3、保护模式,关闭保护模式，否则外部ip无法连接
protected-mode no

4、设置redis密码(如果不设置密码，同一台服务器上的客户端操作没问题，其他服务器上的客户端操作会报错，所有需要设置密码)
1、命令行方式（服务重启失效）
config get requirepass
2、修改配置文件（永久有效）
requirepass pwd

5、关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

3、集群配置

1、创建rediscluster集群目录

mkdir -p /usr/local/yjx/redis/redis-cluster/{conf,data,log,src,scripts}

2、将配置文件放到新建conf目录下，并重命名redis-<port>.conf

3、修改配置文件

#修改启动端口 port 7000

#配置后台启动  daemonize yes

#修改数据文件存储路径 dir "/usr/local/yjx/redis-cluster/data"

#日志文件存储路径  logfile "/usr/local/yjx/redis-cluster/log"

# 快照文件 dbfilename "dump-7000.rdb"

pidfile /usr/local/yjx/redis/redis-cluster/data/redis-7000.pid

# 开启aof命令追加 appendonly yes

#修改区分集群aof文件appendfilename "appendonly-7000.aof"   

#以集群方式启动  cluster-enabled yes 

# 设置redis访问密码   requirepass Redis123 

# 设置集群节点间访问密码，跟上面一致  masterauth Redis123 

# 节点信息文件 cluster-config-file nodes-7000.conf

# 是否需要每个节点都可用，集群才算真可用  cluster-require-full-coverage no

4、复制配置文件
##方式一：复制一份配置文件进行批量修改
$ cp redis-7000.conf redis-7001.conf
$ vim redis-7001.conf
$ :%s/源字符串/目标字符串/g
$ :wq!
##方式二直接复制并修改
$ sed "s/源字符串/目标字符串/g" redis-7000.conf redis-7001.conf

4.集群间文件同步

1、集群各节点上安装rsync
$ yum -y install rsync  
#启动rsync服务
$ systemctl start rsyncd.service
$ systemctl enable rsyncd.service
#检查是否已经成功启动
$ netstat -lnp  |grep 873

2、在/usr/bin目录下编写脚本
#!/bin/bash
[ $# -lt 1 ] && { echo Not Enough Arguement!; exit 1; }

# nodes must can login without password
nodes=(192.168.43.127 192.168.43.130)

echo -n "Action Executing ON HOSTS: ${nodes[@]}, [yes/no] "
read input
[ "$input" == "yes" ] || exit 1
for host in "${nodes[@]}"
do
    echo ==================== sync to $host  ====================
    for file in $@
    do
        if [ -e $file ]; then
            pdir=$(cd -P $(dirname $file); pwd)
            fname=$(basename $file)
            ssh $host "mkdir -p $pdir"
            rsync -apz $pdir/$fname $host:$pdir
        else
            echo $file does not exists!
        fi
    done
done

3、设置权限
$ sudo chmod +x /usr/bin/xsync

3、执行文件传输
$ sudo xsync /path

四、集群启动

1、手动启动集群

1.  查看每台服务器上的防火墙是否关闭
$ firewall-cmd --state #查看防火墙状态

$ systemctl stop firewalld #关闭防火墙

$ systemctl enable firewalld #关闭防火墙开机自启

2.  启动所有服务器上的redis

$ ./redis-server ../conf/redis-7000.conf
$ ./redis-server ../conf/redis-7001.conf
$ ./redis-server ../conf/redis-7000.conf
$ ./redis-server ../conf/redis-7001.conf
$ ./redis-server ../conf/redis-7000.conf
$ ./redis-server ../conf/redis-7001.conf

3. 将所有redis节点拉到一个集群中
#连接上任意一个节点
$ ./redis-cli -h 192.168.43.127 -p 7000 -c -a Redis123
#使用cluster meet命令使节点握手，让目标节点将入当前节点集群中
$ cluster meet <ip> <poort>

4. 查看集群信息
$ cluster info 
#查看节点信息
$ cluster nodes
#查看槽分配信息
$ cluster slots

5. 主节点进行槽指派
## 此处若出现(error) ERR Invalid or out of range slot报错，则需要quit出来，在系统环境执行槽分配命令
第一，不能登录后，用cluster addslots 加，需要quit出来以后，在系统下加。
第二，{0...1000}，这个是三个点，不行，改成两个点 {0..1000}
第三，如果你开启了密码，必须加上：-a 你的密码。比如：redis-cli -h 127.0.0.1 -p 6379 -a 123456 cluster addslots {1000..2000}
$ ./redis-cli -h 192.168.43.128 -p 7000 -c -a yjx cluster addslots {0..5461}
$ ./redis-cli -h 192.168.43.127 -p 7000 -c -a yjx cluster addslots {5462..10922}
$ ./redis-cli -h 192.168.43.130 -p 7000 -c -a yjx cluster addslots {10923..16383}

#使用客户端连接redis，执行命令让接收命令的节点成为node_id所指定节点的从节点，并开始对主节点进行复制
$ cluster replicate <nodeid>

1. 查看每台服务器上的防火墙是否关闭
$ firewall-cmd --state

1. 查看集群信息
$ cluster info 
2. 查看节点信息
$ cluster nodes
3. 使节点握手，让目标节点将入当前节点集群中
$ cluster meet ip port 

#让接收命令的节点成为node_id所指定节点的从节点，并开始对主节点进行复制
1.cluster replicate <nodeid>

2、使用官方redsi-trib.rb或redis-cli启动集群

一、redis低版本使用redis-trib.rb启动集群 （5.0.0版本以下使用）
1.安装ruby，执行命令
$ yum install ruby rubygems  -y
2.安装redis与ruby的连接包，执行命令
$ gem install redis
## 如果提示ruby版本过低，需要升级ruby版本，需要安装rvm（命令行工具，提供ruby环境管理和版本切换），安装rvm前需要安装curl（文件传输工具），执行命令
$ yum install curl -y
3、使用curl安装rvm，执行命令
$ curl -L get.rvm.io | bash -s stable
4、安装会报错，并产生一串公钥，执行命令
$ gpg --keyserver hkp://keys.gnupg.net --recv-keys （这里跟上上面的公钥）
# 再次执行命令，一次不行多执行几次
$ curl -sSL https://get.rvm.io | bash -s stable
5、安装完成后会在/user/local目录下发现rvm目录，将命令放入shell，执行命令
$ source /usr/local/rvm/scripts/rvm
6、查看rvm管理的ruby版本，执行命令
$ rvm list known
7、安装新版本，可以参照安装连接包时提示的最低版本安装，我这里安装2.5.7版本，执行命令
$ rvm install ruby-2.5.8
8、等待ruby安装完成，查看已安装的版本，
$ rvm list
9、使用此版本
$ rvm use ruby-2.5.7
10、检查一下当前使用的版本，
$ ruby -v
11、最后再次执行命令
$ gem install redis
#################环境安装完成！！#########
集群启动：
$ redis-trb.rb create --replicas 1 -a yjx 192.168.43.128:7000 192.168.43.127:7000 192.168.43.130:7000 192.168.43.128:7001 192.168.43.127:7001 192.168.43.130:7001
## replicas 1 主节点/副节点=1  -a password
## WARNING: redis-trib.rb is not longer available! 
原因一：redis版本高
原因二：不是从源码包中获取redis-trib.rb，

二、redis高版本启动集群直接 redis-cli
redis-cli --cluster create --cluster-replicas 1 -a yjx 192.168.43.128:7000 192.168.43.127:7000 192.168.43.130:7000 192.168.43.128:7001 192.168.43.127:7001 192.168.43.130:7001 

报错1：[ERR] Node 192.168.43.128:7000 NOAUTH Authentication required.
提示节点密码要配置： -a password 

报错2: [ERR] Node 192.168.43.128:7000 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.
 

一、redis低版本使用redis-trib.rb启动集群 （5.0.0版本以下使用）
1.安装ruby，执行命令
$ yum install ruby rubygems  -y
2.安装redis与ruby的连接包，执行命令
$ gem install redis
## 如果提示ruby版本过低，需要升级ruby版本，需要安装rvm（命令行工具，提供ruby环境管理和版本切换），安装rvm前需要安装curl（文件传输工具），执行命令
$ yum install curl -y
3、使用curl安装rvm，执行命令
$ curl -L get.rvm.io | bash -s stable
4、安装会报错，并产生一串公钥，执行命令
$ gpg --keyserver hkp://keys.gnupg.net --recv-keys （这里跟上上面的公钥）
# 再次执行命令，一次不行多执行几次
$ curl -sSL https://get.rvm.io | bash -s stable
5、安装完成后会在/user/local目录下发现rvm目录，将命令放入shell，执行命令
$ source /usr/local/rvm/scripts/rvm
6、查看rvm管理的ruby版本，执行命令
$ rvm list known
7、安装新版本，可以参照安装连接包时提示的最低版本安装，我这里安装2.5.7版本，执行命令
$ rvm install ruby-2.5.8
8、等待ruby安装完成，查看已安装的版本，
$ rvm list
9、使用此版本
$ rvm use ruby-2.5.7
10、检查一下当前使用的版本，
$ ruby -v
11、最后再次执行命令
$ gem install redis
#################环境安装完成！！#########
集群启动：
$ redis-trb.rb create --replicas 1 -a yjx 192.168.43.128:7000 192.168.43.127:7000 192.168.43.130:7000 192.168.43.128:7001 192.168.43.127:7001 192.168.43.130:7001
## replicas 1 主节点/副节点=1  -a password
## WARNING: redis-trib.rb is not longer available! 
原因一：redis版本高
原因二：不是从源码包中获取redis-trib.rb，

二、redis高版本启动集群直接 redis-cli
redis-cli --cluster create --cluster-replicas 1 -a yjx 192.168.43.128:7000 192.168.43.127:7000 192.168.43.130:7000 192.168.43.128:7001 192.168.43.127:7001 192.168.43.130:7001 

报错1：[ERR] Node 192.168.43.128:7000 NOAUTH Authentication required.
提示节点密码要配置： -a password 

报错2: [ERR] Node 192.168.43.128:7000 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

redis集群分配槽位报:(error) ERR Invalid or out of range slot
上善若水滴世界
03-05 1760
前言 最近在优化redis集群时,给集群带密码访问时,遇到了很多坑:(error) ERR Invalid or out of range slot bug 场景再现 ./redis-cli -h IP -p 端口 进去redis服务器时报以下错误 解决方案 在xshell下命令，此处一定要注意 xhsell是在redis的bin目录下，不能在reids服务器端，否则命令不起作用 ./redis-cli -h ip -a 密码 -p 6379 cluster addslots {5461..10922}
Redis集群架构搭建详解
linux系统运维学习日记
11-25 458
一、简介 这其实是一种分布式数据库，就是通过分片的机制储存数据，cluster中的每个节点仅仅储存数据哭的一部分数据，本质上就是实现数据库分片。 这种集群是一种去中心化的集群，也就是说，集群中的每个节点都可以是接入节点。 这里我简单说一下这种去中心化的实现方式，比如有4个节点，要储存1000个key，那么就可能将这1000个key平均分配在这4个节点上，另外每个节点上除了储存key还储存了一个列表...
redis集群搭建
最新发布
qq_68820435的博客
04-01 873
本文将使用一台电脑创建3个redis实例，使用不同端口实现redis集群搭建。
微服务高级篇【3】之分布式缓存Redis集群
缘友一世的博客
04-09 718
本文学习黑马，同时结合作者的实践而来文中部分图片，为更好展示原理和过程采用动图的方式，希望本能帮助到你！在部分内容的讲解时，采用黑马的例图和实践记录图相结合，故会出现主机IP并不完全一致的问题，请广大读者谅解！主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：海量数据存储问题高并发写的问题使用分片集群可以解决上述问题，分片集群特征：集群中有多个master，每个master保存不同数据每个master都可以有多个slave节点。
redis-trib.rb 搭建集群
yshir
10-04 909
一、redis-trib.rb 搭建集群 redis-trib.rb 是采用 Ruby 实现的 Redis 集群管理工具。内部通过 Cluster 相关命令帮我们简化集群创建、检查、槽迁移和均衡等常见运维操作，使用 之前需要安装 Ruby 依赖环境。下面介绍搭建集群的详细步骤。 内部通过 Cluster 相关命令帮我们简化集群创建、检查、槽迁移和均衡等常见运维操作，使用之前需要安装 Ruby ...
redis 集群搭建_使用redis-trib.rb搭建集群
weixin_39894932的博客
11-26 469
在上一篇中我们使用Gossip协议手动搭建了一个集群环境,在这一篇中我们使用redis-trib.rb工具搭建一个新集群，redis-trib.rb工具相比手动搭建，要简单的多了。因为redis-trib.rb工具是使用Ruby开发的，所以在使用该工具之前我们要先安装Ruby依赖。1.Ruby环境搭建安装Ruby安装rubygem redis依赖安装redis-trib.rb我们可以执行redis...
docker 实现redis集群搭建
08-19
"docker 实现redis集群搭建" 一、Redis Cluster 概念 Redis Cluster 是 Redis 的分布式解决方案，旨在解决 Redis 单机中心化的问题。它将整个数据集按照分区规则映射到多个节点上，使得 Redis 能够水平扩展以应对...
redis 集群搭建
09-30
redis 集群搭建 ，单节点，集群搭建，工具包
Redis集群搭建及维护文档.docx
03-31
以下是一份简化的Redis集群搭建步骤： 1. **环境准备**： - 确保你有一个兼容的Linux环境，例如CentOS 7（64位）。 - 下载Redis的源代码包，如redis-4.0.6.tar.gz。 2. **安装Redis单节点**： - 解压Redis源...
linux redis-trib.rb,linux 关于redis-trib.rb构建redis集群
weixin_42315338的博客
05-14 297
之前搭建集群漏下的坑, 今次再搭一次.环境ruby环境yum install ruby rubygems -yredis的gem环境gem install redis-3.2.2.gem部署解压与编译tar -zxvf redis-3.2.8.tar.gzcd redis-3.2.8make建立新文件夹与转移可执行文件mkdir /opt/redis-clustercd /opt/redis-cl...
redis 集群分配 slot (error) ERR Invalid or out of range slot 错误
power_to_go
12-30 3064
什么错误？ 127.0.0.1:6379> cluster addslots {0..5461} (error) ERR Invalid or out of range slot 错误原因 { }在 bash 中是 brace explansion(括号展开) 的意思。 如 mkdir redis-637{4,5,6} 会生成 redis-6374、redis-6375、redis-6376 这 3 个文件夹 使用 seq 解决 > redis-cli -h 127.0.0.1 clus
linux redis-trib.rb,redis集群配置 执行 redis-trib.rb 报错解决方法
weixin_29579377的博客
05-14 434
edis-trib.rb是Redis Cluster的一个常用工具。下面记录了执行此命令时遇到的一系列错误。redis-trib.rb create --replicas 1 127.0.0.1:7379 127.0.0.1:7380 127.0.0.1:7381 127.0.0.1:7382 127.0.0.1:7383 127.0.0.1:7384 /usr/bin/env: ruby: 没...
分配指定范围的槽位不成功(error) ERR Invalid or out of range slot
stay hungry ! stay foolish!
11-24 4536
    分配指定范围的槽位不成功(error) ERR Invalid or out of range slot   CLUSTER ADDSLOTS slot [slot ...] 书上资料上说分配槽位执行如下命令即可，但是实际输了结果不行 127.0.0.1:6382&gt; CLUSTER ADDSLOTS 10923...16383 (error) ERR Invalid or out...
Redis(3)------主从、哨兵、集群
sinat_38705282的博客
09-25 199
一、主从 Redis服务器可以通过SLAVEOF命令来让自己变为从服务器，跟随一个主服务器，从服务器会同步主服务器上的数据，这就是Redis的主从复制功能。 Redis的主从复制功能主要分为同步(psync)和命令传播(command propagate)两个操作： 同步用于将从服务器的数据库状态更新到和主服务器相同，psync同步分为完整重同步和部分重同步两种。 命令传播用于在主服务器的数据库状态被修改，导致主从不一致的时候，用来使两者重新一致。 同步用于一个新的从服务器跟随一个主服务器，这是从服务器
RedisTemplate increment 错误:ERR value is not an integer or out of range解决
热门推荐
weixin_42829048的博客
11-12 5万+
环境: springboot+redis &lt;parent&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-starter-parent&lt;/artifactId&gt; &lt;version&gt;1...
Redis集群搭建与运维指南
"该文档是关于Redis集群搭建的详细指南，涵盖了从Redis的基本概念到集群配置、运维操作、命令详解以及调优等多个方面。" 在深入探讨Redis集群搭建之前，我们先来理解一下Redis和Redis-cluster。Redis是一个开源的、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值