redis集群原理

本文介绍了Redis的基本特性及其作为高性能key-value数据库的优势。重点探讨了Redis集群的架构与工作原理,包括3.0版本前后的变化、插槽分配机制、节点间通信及故障转移策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

redis简介(from baidu百科):

redis是一个key-value 存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list( 链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些 数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
Redis 是一个高性能的key-value数据库。 redis的出现,很大程度补偿了 memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便。 [1]  
Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。
redis的官网地址,非常好记,是redis.io。(特意查了一下,域名后缀io属于国家域名,是british Indian Ocean territory,即英属印度洋领地)
目前,Vmware在资助着redis项目的开发和维护。

     redis是单线程,但是一般的作为缓存使用的话,redis足够了,因为它的读写速度太快了。

     官方的一个简单测试:

      测试完成了50个并发执行100000个请求

      设置和获取的值是一个256字节字符串。

      结果:读的速度是110000次/s,写的速度是81000次/s 

   在这么快的读写速度下,对于一般程序来说足够用了,但是对于访问量特别大的网站来说,还是稍有不足。那么,如何提升redis的性能呢?看标题就知道了,搭建集群。


  3.0版本之前

    3.0版本之前的redis是不支持集群的,我们的徐子睿老师说,那个时候,我们的redis如果想要集群的话,就需要一个中间件,然后这个中间件负责将我们需要存入redis中的数据的key通过一套算法计算得出一个值。然后根据这个值找到对应的redis节点,将这些数据存在这个redis的节点中。

    在取值的时候,同样先将key进行计算,得到对应的值,然后就去找对应的redis节点,从对应的节点中取出对应的值。

    这样做有很多不好的地方,比如说我们的这些计算都需要在系统中去进行,所以会增加系统的负担。还有就是这种集群模式下,某个节点挂掉,其他的节点无法知道。而且也不容易对每个节点进行负载均衡。

  3.0版本及以后

    先来一张redis集群的架构图:

    

    在这个图中,每一个蓝色的圈都代表着一个redis的服务器节点。它们任何两个节点之间都是相互连通的。客户端可以与任何一个节点相连接,然后就可以访问集群中的任何一个节点。对其进行存取和其他操作。

    那么redis是怎么做到的呢?首先,在redis的每一个节点上,都有这么两个东西,一个是插槽(slot)可以理解为是一个可以存储两个数值的一个变量这个变量的取值范围是:0-16383。还有一个就是cluster我个人把这个cluster理解为是一个集群管理的插件。当我们的存取的key到达的时候,redis会根据crc16的算法得出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作。

    

    还有就是因为如果集群的话,是有好多个redis一起工作的,那么,就需要这个集群不是那么容易挂掉,所以呢,理论上就应该给集群中的每个节点至少一个备用的redis服务。这个备用的redis称为从节点(slave)。那么这个集群是如何判断是否有某个节点挂掉了呢?

    首先要说的是,每一个节点都存有这个集群所有主节点以及从节点的信息。

    它们之间通过互相的ping-pong判断是否节点可以连接上。如果有一半以上的节点去ping一个节点的时候没有回应,集群就认为这个节点宕机了,然后去连接它的备用节点。如果某个节点和所有从节点全部挂掉,我们集群就进入faill状态。还有就是如果有一半以上的主节点宕机,那么我们集群同样进入发力了状态。这就是我们的redis的投票机制,具体原理如下图所示:

    

    (1)投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.

    (2):什么时候整个集群不可用(cluster_state:fail)? 

        a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完整时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

        b:如果集群超过半数以上master挂掉,无论是否有slave,集群进入fail状态.

### Redis Cluster 工作原理与架构设计 Redis Cluster 是 Redis 的分布式实现,旨在提供高可用性、水平扩展以及自动故障转移的能力。其核心架构基于无中心节点的设计,所有节点通过 Gossip 协议进行通信,形成一个分布式的对等网络[^2]。集群中的每个节点负责一部分数据,并且节点之间可以自动进行数据迁移和故障转移。 Redis Cluster 的节点分为数据节点和客户端节点。数据节点负责存储实际的数据,并参与集群的管理与协调。客户端节点可以直接与任意节点通信,如果访问的数据不在该节点上,节点会返回一个重定向响应,引导客户端连接到正确的节点[^1]。 ### 数据分片机制 Redis Cluster 采用虚拟槽(hash slot)的方式进行数据分片。整个集群被划分为 16384 个哈希槽(hash slots),每个键通过 CRC16 校验后对 16384 取模,决定其所属的槽位。每个节点负责一部分哈希槽的存储[^2]。例如,在一个包含三个节点的集群中,每个节点可能分别负责 5461 个哈希槽。 这种分片方式允许 Redis Cluster 在节点数量变化时重新分配哈希槽,从而实现负载均衡。当节点加入或离开集群时,系统会自动迁移部分哈希槽及其数据,确保数据的均匀分布和高可用性[^1]。 ### 容错与故障转移机制 Redis Cluster 通过节点间的 Gossip 协议实现节点发现、健康检查和故障检测。每个节点定期与其他节点交换状态信息,以维护集群的整体视图。当某个节点发生故障时,集群能够自动检测到,并触发故障转移流程。故障转移过程中,从节点会被提升为新的主节点,接管原主节点的哈希槽,并继续提供服务。 为了确保故障转移的可靠性,Redis Cluster 使用类似 Raft 的投票机制。当一个节点被标记为失败时,其他节点会发起投票,选出一个合适的从节点进行故障转移。故障转移完成后,新的主节点会通知其他节点更新集群状态,确保整个集群的一致性[^2]。 ### 集群管理与数据迁移 Redis Cluster 支持在线扩容和缩容,允许在不中断服务的情况下添加或移除节点。当集群需要扩容时,系统会将部分哈希槽从现有节点迁移到新加入的节点上。迁移过程是渐进的,确保在迁移期间服务的连续性。 数据迁移由集群的管理命令(如 `CLUSTER ADDSLOTS` 和 `CLUSTER DELSLOTS`)触发,并通过 `MOVED` 响应机制引导客户端访问新的节点。迁移过程中,源节点和目标节点都会暂时保留数据副本,直到迁移完成[^2]。 ### 示例:创建 Redis Cluster 以下是一个简单的 Redis Cluster 创建示例,使用 `redis-cli` 工具: ```bash # 启动多个 Redis 实例,分别监听不同的端口 redis-server --port 7000 redis-server --port 7001 ... # 使用 redis-cli 创建集群 redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 \ --cluster-replicas 1 ``` 上述命令将创建一个包含三个主节点和三个从节点的 Redis Cluster,每个主节点对应一个从节点,提供高可用性[^1]。 ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值