1、介绍
Redis集群 ( Redis Cluster) 是从Redis3.0 开始引入的分布式存储方案。集群由多个节点 (Node)组成,Redis 的数据分布在这些节点中。集群中的节点和从节点,只有主节点负责读写请求和集群信息的维护,从节点只进行主节点数据和状态信息的复制。
2、作用
- 数据分区:突破单机的存储限制,将数据分散到多个不同的节点存储;
- 负载均衡:每个主节点都可以处理读写请求,提高了并发能力;
- 高可用:集群有着和哨兵模式类似的故障转移能力,提升集群的稳定性;
3、原理
衡量数据分区方法的标准有两个重要因素:
1)是否均匀分区;
2)增减节点对数据分布的影响;
4、通信机制
在上面的哨兵方案中,节点被分为数据节点和哨兵节点,哨兵节点也是Redis服务,但只作为选举监控使用,只有数据节点会存储数据。而在Redis集群中,所有节点都是数据节点,也都参与集群的状态维护。
在Redis集群中,数据节点提供两个TCP端口,在配置防火墙时需要同时开启下面两类端口:
- 普通端口:即客户端访问端口,如默认的6379;
- 集群端口:普通端口号加10000,如6379的集群端口为16379,用于集群节点之间的通讯;
集群的节点之间通讯采用Gossip协议,节点根据固定频率(每秒10次)定时任务进行判断,当集群状态发生变化,如增删节点、槽状态变更时,会通过节点间通讯同步集群状态,使集群收敛。
- MEET:在节点握手阶段,对新加入的节点发送meet消息,请求新节点加入当前集群,新节点收到消息会回复PONG消息
- PING:节点互相发送ping消息,收到消息的会回复pong消息。ping消息内容包含本节点和其他节点的状态信息,以此达到状态同步
- PONG:pong消息包含自身的状态数据,在接收到ping或meet消息时会回复pong消息,也会主动向集群广播pong消息
- FAIL:当一个主节点判断另一个主节点进入fail状态时,会向集群广播这个消息,接收到的节点会保存消息并对该fail节点做状态判断
- PUBLISH:当节点收到publish命令时,会先执行命令,会先执行命令,然后向集群广播publish消息,接收到消息的节点也会执行publish命令;
5、搭建集群
从Redis5之后可以直接使用redis-cli-cluster命令自动部署Redis集群
这里以一台机器上使用三主三从的方式部署Redis集群
ID | IP | PORT | 类型 | 从节点 |
---|---|---|---|---|
A | 127.0.0.1 | 6381 | 主 | AA |
B | 127.0.0.1 | 6382 | 主 | BB |
C | 127.0.0.1 | 6383 | 主 | CC |
AA | 127.0.0.1 | 6384 | 从 | |
BB | 127.0.0.1 | 6385 | 从 | |
CC | 127.0.0.1 | 6386 | 从 |
5.1、将redis目录复制出六个
cp -r /usr/local/soft/redis /usr/local/soft/redisA
cp -r /usr/local/soft/redis /usr/local/soft/redisB
cp -r /usr/local/soft/redis /usr/local/soft/redisC
cp -r /usr/local/soft/redis /usr/local/soft/redisAA
cp -r /usr/local/soft/redis /usr/local/soft/redisBB
cp -r /usr/local/soft/redis /usr/local/soft/redisCC
5.2、分别修改六个目录中的redis.conf文件
主要开启集群以及修改端口和文件路径
vim /usr/local/soft/redisA/redis.conf
port 6381
daemonize yes
pidfile "/var/run/redisA_6381.pid"
logfile "/usr/local/soft/redisA/redis_6381.log"
dir "/usr/local/soft/redisA/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6381.conf
dir "/usr/local/soft/redisA/data"
vim /usr/local/soft/redisB/redis.conf
port 6382
daemonize yes
pidfile "/var/run/redisB_6382.pid"
logfile "/usr/local/soft/redisB/redis_6382.log"
dir "/usr/local/soft/redisB/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6382.conf
pidfile "/var/run/redisB_6382.pid"
vim /usr/local/soft/redisC/redis.conf
port 6383
daemonize yes
pidfile "/var/run/redisC_6383.pid"
logfile "/usr/local/soft/redisC/redis_6383.log"
dir "/usr/local/soft/redisC/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6383.conf
vim /usr/local/soft/redisAA/redis.conf
port 6391
daemonize yes
pidfile "/var/run/redisAA_6391.pid"
logfile "/usr/local/soft/redisAA/redis_6391.log"
dir "/usr/local/soft/redisAA/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6391.conf
vim /usr/local/soft/redisBB/redis.conf
port 6392
daemonize yes
pidfile "/var/run/redisB_6392.pid"
logfile "/usr/local/soft/redisBB/redis_6392.log"
dir "/usr/local/soft/redisBB/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6392.conf
vim /usr/local/soft/redisCC/redis.conf
port 6393
daemonize yes
pidfile "/var/run/redisCC_6393.pid"
logfile "/usr/local/soft/redisCC/redis_6393.log"
dir "/usr/local/soft/redisCC/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6393.conf
cluster-config-file:每个节点在运行过程中,会维护一份集群配置文件。
当集群信息发生变化时(如增减节点),集群内所有节点会将最新信息更新到该配置文件。
节点重启后,会重新读取该配置文件,获取集群信息,可以方便的重新加入到集群中。
也就是说,当 Redis 节点以集群模式启动时,会首先寻找是否有集群配置文件。
如果有则使用文件中的配置启动;如果没有,则初始化配置并将配置保存到文件中。
集群配置文件由 Redis 节点维护,不需要人工修改。
5.3、分别在6个目录下创建log文件和data目录
touch /usr/local/soft/redisA/redis_6381.log
touch /usr/local/soft/redisB/redis_6382.log
touch /usr/local/soft/redisC/redis_6383.log
touch /usr/local/soft/redisAA/redis_6391.log
touch /usr/local/soft/redisBB/redis_6392.log
touch /usr/local/soft/redisCC/redis_6393.log
touch /usr/local/soft/redisAA/redis_6391.log
mkdir /usr/local/soft/redisA/data
mkdir /usr/local/soft/redisB/data
mkdir /usr/local/soft/redisC/data
mkdir /usr/local/soft/redisAA/data
mkdir /usr/local/soft/redisBB/data
mkdir /usr/local/soft/redisCC/data
5.4、启动所有节点
redis-server /usr/local/soft/redisA/redis.conf
redis-server /usr/local/soft/redisB/redis.conf
redis-server /usr/local/soft/redisC/redis.conf
redis-server /usr/local/soft/redisAA/redis.conf
redis-server /usr/local/soft/redisBB/redis.conf
redis-server /usr/local/soft/redisCC/redis.conf
5.5、 创建集群
- 部署集群需要先启动各个节点的服务,此时这些节点都没加到集群中,使用*redis-cli --cluster create xxx*命令创建集群
- 集群只需要被创建一次
- 这里的--cluster-replicas表示每个主节点有几个副本节点
- 192.168.100.100为master的IP 需根据自己实际情况指定
- 否则无法通过JedisCluster代码访问Redis集群
redis-cli --cluster create 192.168.100.100:6381 192.168.100.100:6382 192.168.100.100:6383 192.168.100.100:6391 192.168.100.100:6392 192.168.100.100:6393 --cluster-replicas 1
三个主从
给每一个主节点分配一个从节点
*redis-cli --cluster*代替了之前的*redis-trib.rb*,我们无需安装ruby环境即可直接使用它附带的所有功能:创建集群、增删节点、槽迁移、完整性检查、数据重平衡等等。
确定没有问题输入yes
5.6 连接集群
redis-cli -p 6381 -c
-c表示一个class
set几个值,发现数据分散开了(Hash)
5.7、维护集群
# 停止集群
redis-cli -p 6381 shutdown
redis-cli -p 6382 shutdown
redis-cli -p 6383 shutdown
redis-cli -p 6391 shutdown
redis-cli -p 6392 shutdown
redis-cli -p 6393 shutdown
# 删除文件
rm -rf /usr/local/soft/redisA/data/*
rm -rf /usr/local/soft/redisB/data/*
rm -rf /usr/local/soft/redisC/data/*
rm -rf /usr/local/soft/redisAA/data/*
rm -rf /usr/local/soft/redisBB/data/*
rm -rf /usr/local/soft/redisCC/data/*
# 重新启动6个Redis服务
redis-server /usr/local/soft/redisA/redis.conf
redis-server /usr/local/soft/redisB/redis.conf
redis-server /usr/local/soft/redisC/redis.conf
redis-server /usr/local/soft/redisAA/redis.conf
redis-server /usr/local/soft/redisBB/redis.conf
redis-server /usr/local/soft/redisCC/redis.conf
redis-server /usr/local/soft/redisA/redis.conf
# 重新创建集群
redis-cli --cluster create 192.168.100.100:6381 192.168.100.100:6382 192.168.190.100:6383 192.168.100.100:6391 192.168.190.100:6392 192.168.100.100:6393 --cluster-replicas 1
5.7 Redis集群的限制
由于Redis集群中数据分布在不同的节点上,因此有些功能会受限:
- db库:单机的Redis默认有16个db数据库,但在集群模式下只有一个db0;
- 复制结构:上面的复制结构有树状结构,但在集群模式下只允许单层复制结构;
- 事务/lua脚本:仅允许操作的key在同一个节点上才可以在集群下使用事务或lua脚本;(使用Hash Tag可以解决)
- key的批量操作:如mget,mset操作,只有当操作的key都在同一个节点上才可以执行;(使用Hash Tag可以解决)
- keys/flushall:只会在该节点之上进行操作,不会对集群的其他节点进行操作;
HashTag
由于key被分布在不同的节点之上,因此无法跨节点做事务或lua脚本操作,但我们可以使用hash tag方式解决。
hash tag:当key包含{}的时候,不会对整个key做hash,只会对{}包含的部分做hash然后分配槽slot;因此我们可以让不同的key在同一个槽内,这样就可以解决key的批量操作和事务及lua脚本的限制了;
但由于hash tag会将不同的key分配在相同的slot中,如果使用不当,会造成数据分布不均的情况,需要注意