Redis集群模式安装搭建

1、介绍

Redis集群 ( Redis Cluster) 是从Redis3.0 开始引入的分布式存储方案。集群由多个节点 (Node)组成,Redis 的数据分布在这些节点中。集群中的节点和从节点,只有主节点负责读写请求和集群信息的维护,从节点只进行主节点数据和状态信息的复制。

2、作用

  • 数据分区:突破单机的存储限制,将数据分散到多个不同的节点存储;
  • 负载均衡:每个主节点都可以处理读写请求,提高了并发能力;
  • 高可用:集群有着和哨兵模式类似的故障转移能力,提升集群的稳定性;

3、原理

衡量数据分区方法的标准有两个重要因素:

1)是否均匀分区;

2)增减节点对数据分布的影响;

4、通信机制

在上面的哨兵方案中,节点被分为数据节点和哨兵节点,哨兵节点也是Redis服务,但只作为选举监控使用,只有数据节点会存储数据。而在Redis集群中,所有节点都是数据节点,也都参与集群的状态维护。

在Redis集群中,数据节点提供两个TCP端口,在配置防火墙时需要同时开启下面两类端口:

  • 普通端口:即客户端访问端口,如默认的6379;
  • 集群端口:普通端口号加10000,如6379的集群端口为16379,用于集群节点之间的通讯;

集群的节点之间通讯采用Gossip协议,节点根据固定频率(每秒10次)定时任务进行判断,当集群状态发生变化,如增删节点、槽状态变更时,会通过节点间通讯同步集群状态,使集群收敛。

  • MEET:在节点握手阶段,对新加入的节点发送meet消息,请求新节点加入当前集群,新节点收到消息会回复PONG消息
  • PING:节点互相发送ping消息,收到消息的会回复pong消息。ping消息内容包含本节点和其他节点的状态信息,以此达到状态同步
  • PONG:pong消息包含自身的状态数据,在接收到ping或meet消息时会回复pong消息,也会主动向集群广播pong消息
  • FAIL:当一个主节点判断另一个主节点进入fail状态时,会向集群广播这个消息,接收到的节点会保存消息并对该fail节点做状态判断
  • PUBLISH:当节点收到publish命令时,会先执行命令,会先执行命令,然后向集群广播publish消息,接收到消息的节点也会执行publish命令;

5、搭建集群

从Redis5之后可以直接使用redis-cli-cluster命令自动部署Redis集群

这里以一台机器上使用三主三从的方式部署Redis集群

IDIPPORT类型从节点
A127.0.0.16381主  AA
B127.0.0.16382BB
C127.0.0.16383CC
AA127.0.0.16384
BB127.0.0.16385
CC127.0.0.16386

5.1、将redis目录复制出六个

cp -r /usr/local/soft/redis /usr/local/soft/redisA
cp -r /usr/local/soft/redis /usr/local/soft/redisB
cp -r /usr/local/soft/redis /usr/local/soft/redisC
cp -r /usr/local/soft/redis /usr/local/soft/redisAA
cp -r /usr/local/soft/redis /usr/local/soft/redisBB
cp -r /usr/local/soft/redis /usr/local/soft/redisCC

5.2、分别修改六个目录中的redis.conf文件

主要开启集群以及修改端口和文件路径

vim /usr/local/soft/redisA/redis.conf

port 6381
daemonize yes
pidfile "/var/run/redisA_6381.pid"
logfile "/usr/local/soft/redisA/redis_6381.log"
dir "/usr/local/soft/redisA/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6381.conf
dir "/usr/local/soft/redisA/data"

vim /usr/local/soft/redisB/redis.conf

port 6382
daemonize yes
pidfile "/var/run/redisB_6382.pid"
logfile "/usr/local/soft/redisB/redis_6382.log"
dir "/usr/local/soft/redisB/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6382.conf
pidfile "/var/run/redisB_6382.pid"

vim /usr/local/soft/redisC/redis.conf

port 6383
daemonize yes
pidfile "/var/run/redisC_6383.pid"
logfile "/usr/local/soft/redisC/redis_6383.log"
dir "/usr/local/soft/redisC/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6383.conf

vim /usr/local/soft/redisAA/redis.conf

port 6391
daemonize yes
pidfile "/var/run/redisAA_6391.pid"
logfile "/usr/local/soft/redisAA/redis_6391.log"
dir "/usr/local/soft/redisAA/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6391.conf

vim /usr/local/soft/redisBB/redis.conf

port 6392 
daemonize yes 
pidfile "/var/run/redisB_6392.pid" 
logfile "/usr/local/soft/redisBB/redis_6392.log" 
dir "/usr/local/soft/redisBB/data" 
cluster-enabled yes 
cluster-node-timeout 15000 
cluster-config-file node_6392.conf

vim /usr/local/soft/redisCC/redis.conf

port 6393
daemonize yes
pidfile "/var/run/redisCC_6393.pid"
logfile "/usr/local/soft/redisCC/redis_6393.log"
dir "/usr/local/soft/redisCC/data"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file node_6393.conf

cluster-config-file:每个节点在运行过程中,会维护一份集群配置文件。

当集群信息发生变化时(如增减节点),集群内所有节点会将最新信息更新到该配置文件。

节点重启后,会重新读取该配置文件,获取集群信息,可以方便的重新加入到集群中。

也就是说,当 Redis 节点以集群模式启动时,会首先寻找是否有集群配置文件。

如果有则使用文件中的配置启动;如果没有,则初始化配置并将配置保存到文件中。

集群配置文件由 Redis 节点维护,不需要人工修改。

5.3、分别在6个目录下创建log文件和data目录

touch /usr/local/soft/redisA/redis_6381.log
touch /usr/local/soft/redisB/redis_6382.log
touch /usr/local/soft/redisC/redis_6383.log
touch /usr/local/soft/redisAA/redis_6391.log
touch /usr/local/soft/redisBB/redis_6392.log
touch /usr/local/soft/redisCC/redis_6393.log
touch /usr/local/soft/redisAA/redis_6391.log

mkdir /usr/local/soft/redisA/data
mkdir /usr/local/soft/redisB/data
mkdir /usr/local/soft/redisC/data
mkdir /usr/local/soft/redisAA/data
mkdir /usr/local/soft/redisBB/data
mkdir /usr/local/soft/redisCC/data

5.4、启动所有节点

redis-server /usr/local/soft/redisA/redis.conf
redis-server /usr/local/soft/redisB/redis.conf
redis-server /usr/local/soft/redisC/redis.conf
redis-server /usr/local/soft/redisAA/redis.conf
redis-server /usr/local/soft/redisBB/redis.conf
redis-server /usr/local/soft/redisCC/redis.conf

5.5、 创建集群

  • 部署集群需要先启动各个节点的服务,此时这些节点都没加到集群中,使用*redis-cli --cluster create xxx*命令创建集群
  • 集群只需要被创建一次
  • 这里的--cluster-replicas表示每个主节点有几个副本节点
  • 192.168.100.100为master的IP 需根据自己实际情况指定
  • 否则无法通过JedisCluster代码访问Redis集群
redis-cli --cluster create 192.168.100.100:6381 192.168.100.100:6382 192.168.100.100:6383 192.168.100.100:6391 192.168.100.100:6392 192.168.100.100:6393 --cluster-replicas 1

三个主从

给每一个主节点分配一个从节点

*redis-cli --cluster*代替了之前的*redis-trib.rb*,我们无需安装ruby环境即可直接使用它附带的所有功能:创建集群、增删节点、槽迁移、完整性检查、数据重平衡等等。

确定没有问题输入yes

5.6 连接集群

redis-cli -p 6381 -c

-c表示一个class

set几个值,发现数据分散开了(Hash)

5.7、维护集群

# 停止集群
redis-cli -p 6381 shutdown
redis-cli -p 6382 shutdown
redis-cli -p 6383 shutdown
redis-cli -p 6391 shutdown
redis-cli -p 6392 shutdown
redis-cli -p 6393 shutdown

# 删除文件
rm -rf /usr/local/soft/redisA/data/*
rm -rf /usr/local/soft/redisB/data/*
rm -rf /usr/local/soft/redisC/data/*
rm -rf /usr/local/soft/redisAA/data/*
rm -rf /usr/local/soft/redisBB/data/*
rm -rf /usr/local/soft/redisCC/data/*

# 重新启动6个Redis服务
redis-server /usr/local/soft/redisA/redis.conf
redis-server /usr/local/soft/redisB/redis.conf
redis-server /usr/local/soft/redisC/redis.conf
redis-server /usr/local/soft/redisAA/redis.conf
redis-server /usr/local/soft/redisBB/redis.conf
redis-server /usr/local/soft/redisCC/redis.conf
redis-server /usr/local/soft/redisA/redis.conf

# 重新创建集群
redis-cli --cluster create 192.168.100.100:6381 192.168.100.100:6382 192.168.190.100:6383 192.168.100.100:6391 192.168.190.100:6392 192.168.100.100:6393 --cluster-replicas 1

5.7 Redis集群的限制

由于Redis集群中数据分布在不同的节点上,因此有些功能会受限:

  • db库:单机的Redis默认有16个db数据库,但在集群模式下只有一个db0;
  • 复制结构:上面的复制结构有树状结构,但在集群模式下只允许单层复制结构;
  • 事务/lua脚本:仅允许操作的key在同一个节点上才可以在集群下使用事务或lua脚本;(使用Hash Tag可以解决)
  • key的批量操作:如mget,mset操作,只有当操作的key都在同一个节点上才可以执行;(使用Hash Tag可以解决)
  • keys/flushall:只会在该节点之上进行操作,不会对集群的其他节点进行操作;

HashTag

由于key被分布在不同的节点之上,因此无法跨节点做事务或lua脚本操作,但我们可以使用hash tag方式解决。

hash tag:当key包含{}的时候,不会对整个key做hash,只会对{}包含的部分做hash然后分配槽slot;因此我们可以让不同的key在同一个槽内,这样就可以解决key的批量操作和事务及lua脚本的限制了;

但由于hash tag会将不同的key分配在相同的slot中,如果使用不当,会造成数据分布不均的情况,需要注意

### 如何搭建 Redis 集群模式 #### 准备工作 为了成功搭建 Redis 集群,需准备至少三个不同端口上的 Redis 实例。这些实例用于形成集群的基础架构,从而提升系统的性能和可用性[^1]。 #### 安装依赖项 对于 Mac 用户来说,在创建 Redis 集群之前,需要确保已安装 Ruby 和 Redis 的 Ruby 模块。这可以通过 Homebrew 更新并安装 Ruby 后,利用 `gem` 工具来实现: ```bash brew update brew install ruby sudo gem install redis ``` 上述命令会更新本地包管理器,并安装必要的软件环境以便后续操作能够顺利进行[^2]。 #### 创建与初始化 Redis 实例 假设当前已有六个正在运行中的 Redis 实例,则可以直接跳过此部分;如果尚未建立任何实例,则应按照官方指南或其他资源指导完成相应设置。每新增加一台服务器作为节点时,记得调整其配置文件以适应新的网络布局需求[^3]。 #### 使用 `redis-cli` 构建集群 一旦所有必需的服务都处于活动状态之后,便可以借助于名为 `redis-trib.rb` (现已被集成到新版 Redis 中称为 `redis-cli --cluster`) 的工具来进行实际构建过程: 1. **验证各节点连接情况** 执行如下指令确认各个成员间能否正常通信: ```bash redis-cli -h <node_ip> -p <port> ``` 2. **正式组建集群** 当一切就绪后,输入下面这条语句即可启动整个流程: ```bash ./src/redis-cli --cluster create \ <ip_1>:<port_1> <ip_2>:<port_2> ... <ip_n>:<port_n> \ --replicas 1 ``` 这里 `<ip_x>` 表示第 x 台机器的 IP 地址而 `<port_y>` 则对应着该主机上监听的具体端口号。参数 `--replicas` 后面跟的是希望为每个主节点分配几个从属副本的数量。 --- 通过以上步骤,已经完成了基本的 Redis Cluster 设置。这种结构不仅支持多 Master 设计提高了读写效率,而且具备良好的扩展性和容错能力[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值