Redis集群原理

Redis是内存服务器,使用Redis可以减少IO访问量,提供系统并发访问效率。在高可用方面,Redis提供集群技术,在Redis3.0之前使用哨兵和主从复制技术解决高可用问题,在Redes3.0之后采用数据分区存储到不同的插槽技术,每组插槽由一个Redis主节点托管,主节点与多个从节点数据同步的方式实现高可用。如下图:
在这里插入图片描述

客户端可以连接集群中的任意节点,将存储Key-Value中的Key,取CRC16运算结果,在取16384的模,得到的值一定在0-16384之间,再根据集群中每个节点托管的Solt配置,将请求路由到对应的主节点上。

节点间通信

Redis集群节点间使用Gossip二进制协议通信,通信的信息包括:
1、节点的IP和端口
2、节点的标识ID
3、节点托管的Solt范围
4、节点最后一次向集群发送PING数据包的时间
5、节点最后一次从集群收到PONG数据包的时间
6、集群将此节点标志下线的时间
7、此节点的从节点数量
8、如果此节点是从节点,发生其主节点的ID

新增节点识别

1、管理员通过命令使集群接收新节点
cluster meet ip port

2、通过集群节点推荐机制
系统管理将新节点与集群中的任意节点建立信任连接,集群中的其它节点会自动对新节点建立信任连接。

节点失效检测

集群中的节点向其它节点发送PING数据包,接受来自其它节点PONG回复,如果在规定时间内(node timeout)未收到某个回复,将这个节点标记为PFAIL(possible failure)。节点间传播的信息都包含检测到的PFAIL节点列表,如果集群内大部分节点标识某节点为PFAIL状态,此节点转为FAIL状态。

从节点选举

一旦某主节点进入FAIL状态,如果主节点存在从节点,那么其中一个从节点会被升级为新的主节点。其它从节点与新的主节点建立主从关联并同步数据。整个从节点选举过程分为申请、授权、升级、同步四个阶段
1、申请
下线的主节点的从节点中满足如下条件的,向集群中其它主节点发出升级申请
a)、节点对应的主节点下线
b)、下线的主节点托管着Slot哈希槽

2、授权
集群中其它主节点根据如下条件判断,从节点升级申请
a)、发送申请的从节点对应的主节点处于FAIL状态
b)、在下线的主节点的从节点列表中,此节点ID最小
c)、此从节点运行正常,没有标注FAIL和PFAIL状态。

3、升级
一旦从节点在给定时间内获得集群大部分主节点的授权,就接管下线主节点的全部Slot数据,并且主动发送PONG数据包给集群中的其它节点,告知其它节点自己是一个PROMOTED SLAVE,即已升级的从节点,

4、同步
其它节点接收到PROMOTED SLAVE告知后,根据新的主节点进行相应配置。所有被新主节点接管的Slot会被更新。如果已经下线的主节点复活,再收到PROMOTED标识后,成为新节点的从节点。

集群动态配置

集群通过ADDSLOTS和DELSLOTS命令添加和删除节点。

CLUSTER SETSLOT slot NODE node
可以将指定槽slot指派给节点node

CLUSTER SETSLOT slot MIGRATING node
将指定节点的槽slot移出
CLUSTER SETSLOT slot IMPORTING node
将指定槽slot导入节点node

### Redis Cluster 工作原理与架构设计 Redis Cluster 是 Redis 的分布式实现,旨在提供高可用性、水平扩展以及自动故障转移的能力。其核心架构基于无中心节点的设计,所有节点通过 Gossip 协议进行通信,形成一个分布式的对等网络[^2]。集群中的每个节点负责一部分数据,并且节点之间可以自动进行数据迁移和故障转移。 Redis Cluster 的节点分为数据节点和客户端节点。数据节点负责存储实际的数据,并参与集群的管理与协调。客户端节点可以直接与任意节点通信,如果访问的数据不在该节点上,节点会返回一个重定向响应,引导客户端连接到正确的节点[^1]。 ### 数据分片机制 Redis Cluster 采用虚拟槽(hash slot)的方式进行数据分片。整个集群被划分为 16384 个哈希槽(hash slots),每个键通过 CRC16 校验后对 16384 取模,决定其所属的槽位。每个节点负责一部分哈希槽的存储[^2]。例如,在一个包含三个节点的集群中,每个节点可能分别负责 5461 个哈希槽。 这种分片方式允许 Redis Cluster 在节点数量变化时重新分配哈希槽,从而实现负载均衡。当节点加入或离开集群时,系统会自动迁移部分哈希槽及其数据,确保数据的均匀分布和高可用性[^1]。 ### 容错与故障转移机制 Redis Cluster 通过节点间的 Gossip 协议实现节点发现、健康检查和故障检测。每个节点定期与其他节点交换状态信息,以维护集群的整体视图。当某个节点发生故障时,集群能够自动检测到,并触发故障转移流程。故障转移过程中,从节点会被提升为新的主节点,接管原主节点的哈希槽,并继续提供服务。 为了确保故障转移的可靠性,Redis Cluster 使用类似 Raft 的投票机制。当一个节点被标记为失败时,其他节点会发起投票,选出一个合适的从节点进行故障转移。故障转移完成后,新的主节点会通知其他节点更新集群状态,确保整个集群的一致性[^2]。 ### 集群管理与数据迁移 Redis Cluster 支持在线扩容和缩容,允许在不中断服务的情况下添加或移除节点。当集群需要扩容时,系统会将部分哈希槽从现有节点迁移到新加入的节点上。迁移过程是渐进的,确保在迁移期间服务的连续性。 数据迁移由集群的管理命令(如 `CLUSTER ADDSLOTS` 和 `CLUSTER DELSLOTS`)触发,并通过 `MOVED` 响应机制引导客户端访问新的节点。迁移过程中,源节点和目标节点都会暂时保留数据副本,直到迁移完成[^2]。 ### 示例:创建 Redis Cluster 以下是一个简单的 Redis Cluster 创建示例,使用 `redis-cli` 工具: ```bash # 启动多个 Redis 实例,分别监听不同的端口 redis-server --port 7000 redis-server --port 7001 ... # 使用 redis-cli 创建集群 redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 \ --cluster-replicas 1 ``` 上述命令将创建一个包含三个主节点和三个从节点的 Redis Cluster,每个主节点对应一个从节点,提供高可用性[^1]。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值