17.数据分布算法:hash + 一致性hash + redis cluster的hash slot

本文深入探讨RedisCluster的工作原理,包括自动数据分片、高可用性支持及节点间通信机制。详细解析三种数据分布算法:传统hash算法、一致性hash算法与RedisCluster特有的hashslot算法,阐述它们在分布式存储中的应用及优劣。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

讲解分布式数据存储的核心算法,数据分布的算法

hash算法 -> 一致性hash算法(memcached) -> redis cluster hash slot算法

用不同的算法,就决定了在多个master节点的时候,数据如何分布到这些节点上去,解决这个问题

redis cluster介绍

redis cluster

  1. 自动将数据进行分片,每个master上放一部分数据
  2. 提供内置的高可用支持,部分master不可用时,还是可以继续工作的
  3. redis cluster架构下,每个redis要放开两个端口号,比如一个是6379,另外一个就是加10000的端口号,比如16379
  4. 16379端口号是用来进行节点间通信的,也就是cluster bus -- 集群总线

cluster bus通信,用来进行故障检测,配置更新,故障转移授权

  1. cluster bus用了另外一种二进制的协议,主要用于节点间进行高效的数据交换,占用更少的网络带宽和处理时间

三大数据分布算法

最老土的hash算法和弊端(大量缓存重建)

在这里插入图片描述

一致性hash算法(自动缓存迁移)+虚拟节点(自动负载均衡)

在这里插入图片描述

热点问题–虚拟节点负载均衡

在这里插入图片描述

redis cluster的hash slot算法

在这里插入图片描述

  1. redis cluster有固定的16384个hash slot,对每个key计算CRC16值,然后对16384取模,可以获取key对应的hash slot
  2. redis cluster中每个master都会持有部分slot,比如有3个master,那么可能每个master持有5000多个hash slot
  3. hash slot让node的增加和移除很简单,增加一个master,就将其他master的hash slot移动部分过去,减少一个master,就将它的hash slot移动到其他master上去
  4. 移动hash slot的成本是非常低的
  5. 客户端的api,可以对指定的数据,让他们走同一个hash slot,通过hash tag来实现
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值