Redis集群

最新推荐文章于 2024-06-19 17:02:08 发布
最新推荐文章于 2024-06-19 17:02:08 发布
阅读量999 收藏 19
点赞数 17
CC 4.0 BY-SA版权
分类专栏： Redis 文章标签： redis java mybatis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pythoncjave/article/details/136642348

目录

引入

数据分片算法  

哈希求余

优点

缺点

一致性hash算法

优点

缺点

哈希槽分区算法（Redis使用）

拓展问题 

Q1：Redis集群最多只有16384个分片吗？

Q2：为什么是16384个槽位？

引入

redis哨兵能够提高系统的可用性，但是真正存储数据的还是master和slave节点，所有的数据都保存在单个master和slave节点中，如果数据量很大，接近超出了master/slave所在的机器的物理内存，就会出现严重问题！

众所周知，redis的数据是保存在内存上的 ，即便现在的大公司的内存已经能够达到TB级别，但是在现在的这种大数据环境下，显然是不够的

Redis集群应运而生，引入多组Master/Slave，每一组Master/Slave存储数据全集的一部分，从而构成一个更大的整体，称为Redis集群（Cluster）

  • 上图三个不同的redis的主从结构分别存储的数据集3TB的1/3  
  • 每一个红框都可以是一个分片（Sharding）

数据分片算法  

Redis cluster 的核心思路是用多组机器来存数据的每个部分，那么接下来的核心问题就是，给定一个数据（一个具体的key），将他分配到应该去到的分片上

哈希求余

设有N个分片[0,N-1] 进行编号 

假设一共有三个分片，那么得到key后将他hash之后%3 得到分片编号

优点

简单高效、分配均匀

缺点

一旦需要进行扩容，N发生了改变，那么原有的映射规则都被破坏了，需要将所有数据进行重新排列，以满足新的映射规则，此时需要搬运的数据量很大

一致性hash算法

 为了降低上述的搬运开销, 能够更⾼效扩容, 业界提出了 "⼀致性哈希算法"

 第一步：把[0,2^32-1] 这个数据空间，映射到一个圆环上，数据按照顺时针方向增长。

第二步：假设当前存在三个分片，就把分片放到圆环的某个位置上 

第三步：假设此时有一个key，那么hash得到的值为H，那么将这个key映射到哪一个分片呢？

即从H位置顺时针往下找，直到找到的第一个分片，就是该key所属的分片

那么在这种一致性hash的情况下，如果扩容一个分片，如何处理呢？

原有分片不动，在环上安排一个新的分片位置即可

此时，只需要把0号分片上的部分数据，搬运给3号分片即可，1号和2号分片管理的区间都是不变的 

优点

大大降低了扩容时数据搬运的规模，提高了扩容操作的效率

缺点

数据分配不均匀（有的多有的少，数据倾斜）

哈希槽分区算法（Redis使用）

为了解决上述问题，Redis cluster引入了哈希槽（hash slots）算法

hash_slot = crc16(key) % 16384
  • | crc16 也是一种hash算法
  • | 16384 其实是16 ^ 1024  = 2 ^ 14

相当于将所有key值映射到 16384 个槽位上，也就是[0,16383]

然后再把这些槽位均匀的分配给每个分片，每个分片的节点都需要记录自己持有哪些分片

假设当前有三个分片，一种可能的分配方式：

  • 0 号分⽚: [0,5461], 共 5462 个槽位
  • 1号分⽚:  [5462,10923],共5462个槽位
  • 2号分⽚:  [10924,16383],共5460个槽位

TIPS：这里的分片规则是很灵活的，每个分片所持有的槽位也不一定连续，每个分片的节点使用位图来记录自己拥有哪些槽位，对于16384的槽位来说，需要2048个字节（2KB）大小的内存空间表示

此时扩容增加了一个3号分片，即可以针对原有的槽位进行重新分配。

即可以把原有分片所持有的槽位分给新的分片。

  • 0 号分⽚:[0,4095],共4096 个槽位
  • 1 号分⽚:[5462,9557],共 4096 个槽位
  • 2 号分⽚:[10924,15019],共 4096 个槽位
  • 3 号分⽚:[4096,5461]+ [9558, 10923] + [15019, 16383], 共 4096 个槽位?

TIPS：实际使用的时候，不需要手动指定哪些槽位分配给某个分片，只需要告诉某个分片应该持有多少槽位即可，Redis会做单完成分配和搬运

拓展问题 

Q1：Redis集群最多只有16384个分片吗？

A1：nonono，实际上redis作者建议集群分片不要超过1000. 更何况如果你是用16000以上的那么大个规模的集群，本身的可用性也是一大问题

Q2：为什么是16384个槽位？

A2：这里直接翻译Redis原作者的话，大致是如下。

  • 节点之间的通讯是通过心跳包机制的，而心跳包是频繁的发送，心跳包又包含了该节点的各种信息包括所持有的槽。当槽的个数是16384的时候，位图的大小为2kb，但如果槽的个数是65535的时候，此时的位图大小将来到恐怖的8kb，虽然这对于内存不算什么，但是在网络中，仍然是一个不晓得开销
  • 另一方面，Redis集群一般不会超过1000个分片，所以16k对于最大1000个分片的下的情景是足够使用的，同时对应的槽的体积也不会很大
2021-07-05-redis-cluser集群最小分片数研究
悟世之路
07-05 435
摘要: 为了超过阿里云，成为中国最强的分布式redis云数据库，对redis集群的最小分片数做探讨。 分析缩小集群分片数后会引发的问题。 cluster集群-仅修改创建cluster时的master数量限制: 代码中写死了最小需要3个master节点, 直接修改源码以支持更小的分片 int node_len = cluster_manager.nodes->len; int replicas = config.cluster_manager_command...
redis分片
qq_24271537的博客
11-02 777
单台redis的缺点： 单台redis可能出现宕机现象 单台redis的内存受限 redis分片： 优点： 可以实现动态扩容 ； 如果单台redis出现问题则数据影响较小--其他redis中数据不丢失 缺点： 如果一台redis宕机则其他redis节点不能使用 分片的搭建： 1、将原有redis关闭 redis-cli -p 6379 shutdown 2、复制多个redis配置文件 说明:在redis根目录下创建 shard文件夹 将redis.conf文件复制到s..
redis分片集群
weixin_61518137的博客
01-28 2039
4)为什么key要和插槽绑定而不是节点绑定呢？因为redis的主节点是有可能出现宕机的情况的，或者是集群扩容增加了节点，或者是集群伸缩，删除了节点，如果一个节点宕机了，那么这个节点上面的数据也就丢失了，而数据如果是和插槽绑定的，那么当节点宕机的时候，可以把这个节点对应的插槽转移到正常工作的节点，集群扩容的时候，也可以将插槽进行转移，这样数据跟着插槽走，就永远可以找到数据的位置；
Redis集群分片
冯同学的博客
04-07 4713
Redis集群分片
Redis分区/分片详解
梁老师教你编程序
11-18 4801
redis在3.0版本前只支持单实例模式，虽然现在的服务器内存可以到100GB、200GB的规模，但是单实例模式限制了redis没法满足业务的需求（比如新浪微博就曾经用redis存储了超过1TB的数据）。它可以将众多小内存的redis实例整合起来，将分布在多台机器上的众多CPU核心的计算能力聚集在一起，完成海量数据存储和高并发读写操作。当一台物理机器存储不够的时候，我们可以将一般的实例移动到我们的第二台物理机上，依次类对，我们可以保证集群中Redis的实例数不变，又可以达到扩充机器的目的。
Redis集群弱/空密码问题整改
11-15
使用redis安装用户，在命令行连接上redis集群后，执行命令：config set requirepass 【自定义的强密码】，如： config set requirepass mypassword@#75@~ 然后执行 config rewrite 将配置密码持久化到redis配置文件...
zabbix监控redis集群
03-25
本文将详细讲解如何使用Zabbix监控Redis集群，包括Zabbix服务器的安装、Redis集群的部署以及监控脚本的编写。 首先，我们要准备Redis服务器。在Linux环境中，通常使用`yum`命令来安装Redis。在遇到`yum install ...
Redis集群数据迁移操作文档
06-29
《Redis集群数据迁移实战指南》 在IT领域，数据迁移是一项关键任务，特别是在使用Redis这样的高性能内存数据库时。本文将详细介绍如何进行Redis集群的数据迁移，包括全量和增量数据迁移，以及离线迁移的方法，主要...
redis集群批量插入
11-23
本文将详细讨论如何在Java环境下连接Redis集群并实现批量插入String类型的数据。 首先，我们需要理解Redis集群的基本概念。Redis集群是通过分片（Sharding）技术来分散数据到多个节点，每个节点存储一部分数据。在...
Redis集群下过期key监听的实现代码
09-09
在讨论Redis集群下过期key监听的实现代码之前，首先需要明确几个核心概念和组件： Redis集群是Redis的一种高可用性解决方案，它通过将数据分布在不同的Redis节点上，并提供一定机制保证数据的复制和高可用性。集群...
Redis集群系列五 —— 分区/片概念
旷野历程
12-28 1343
Redis分区
Redis 集群 - 数据分片算法
q322359的博客
06-19 894
• 节点之间通过⼼跳包通信.⼼跳包中包含了该节点持有哪些 slots.这个是使⽤位图这样的数据结构 表⽰的.表⽰ 16384 (16k) 个 slots,需要的位图⼤⼩是 2KB. 如果给定的 slots 数更多了,⽐如 65536 个了,此时就需要消耗更多的空间,8 KB 位图表⽰了. 8 KB,对于内存来说不算什么,但是在频繁的⽹络⼼跳包中,还是⼀个不⼩的开销的。
redis分片机制
热门推荐
qingmuluoyang的博客
10-01 2万+
  所谓的分片其实就是大的数据分成几个小的部分，分别放置存储，对于数据而言无外乎就是读写，读写的基础就是数据的定位，redis利用集群的方式+槽位完成，分片的数据的定位和管理维护。    Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。 Redis 集群使用数据分片（sharding）而非一致性哈希（consistency hashing）...
Redis Cluster 数据分片
飞鱼的博客
11-12 493
Redis 集群是 Redis 提供的分布式数据库方案， 集群通过分片（sharding） 来进行数据共享， 并提供复制和故障转移功能。
Redis第10讲——Redis数据分片的三种算法
让~学习~成为一种习惯（橡 皮 人の技术博客）
03-28 4511
一致性哈希环顺时针映射优先考虑的是：如何实现最少的节点数据发生数据迁移，当增加或移除节点，只有离新节点最近的节点会涉及到数据迁移。 redis cluster哈希槽是静态映射，优先考虑的是如何实现数据均匀分布，当增加或移除节点时，所有的节点都会参与进来平摊压力。（我们搞集群的目的是啥？还不是单机容量不足，需要扩容多机组成集群，然后将数据尽可能的均匀分布吗）。 同时，redis cluster哈希槽静态映射还有一个优点，就是可以手动调整slots槽的分配。 redis cluster集群分为16384个
Redis 集群中 分片 和 槽 的概念
孙晴
11-28 1360
分片数量就是集群中Redis节点的数量。理论上，单机可以通过设置不同端口实现集群，但在实际应用中，是一个物理机对应一个节点，以免物理机挂掉影响多个节点，造成损失扩大。当然了，如果将Redis集群部署到云上，那另当别论。：slots是一个逻辑概念，属性是一个二进制位数组，数组长度为16384。2的14次幂，2048个字节。在没有明确指定到节点的时候，是没有具体的物理存储地址的。
Redis -- 分片集群
qq_33753147的博客
08-26 558
Redis -- 分片集群
Redis数据分片详解
FYHannnnnn的博客
08-03 2280
Redis 集群简介 Redis Cluster 是 Redis 的分布式解决方案，在 3.0 版本正式推出，有效地解决了 Redis 分布式方面的需求。 Redis Cluster 一般由多个节点组成，节点数量至少为 6 个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。 图片来源 redislabs 如上图所示，该集群中包含 6 个 Redis 节点，3主3...
redis 集群
最新发布
04-01
### Redis 集群的搭建与配置 #### 一、Redis 集群简介 Redis 是一种高性能的键值存储系统，支持多种数据结构操作。通过集群模式可以实现分布式存储和高可用性。Redis 集群允许多个 Redis 实例协同工作，提供更高的吞吐量和更强的数据持久化能力。 --- #### 二、环境准备 在开始之前，需确认以下条件已满足： - 所有服务器的操作系统版本一致（如 CentOS 7 或 Windows），并安装了相同版本的 Redis 软件。 - 已关闭防火墙或开放必要的端口（默认 Redis 使用 6379 及其衍生端口）。 - 每台服务器上至少有两个 Redis 实例运行，分别作为主节点和从节点[^1]。 --- #### 三、具体步骤 ##### 1. 下载并解压 Redis 文件 下载指定版本的 Redis 压缩包（如 Redis 6.2.5 或更高版本），将其解压到目标路径下。例如，在 Linux 中执行以下命令： ```bash wget http://download.redis.io/releases/redis-6.2.5.tar.gz tar -zxvf redis-6.2.5.tar.gz cd redis-6.2.5 make ``` ##### 2. 创建多个实例目录 为每个 Redis 实例创建独立的工作目录，并复制 `redis.conf` 至对应文件夹中。例如： ```bash mkdir -p /service/redis/{6379,6380} cp redis.conf /service/redis/6379/ cp redis.conf /service/redis/6380/ ``` ##### 3. 修改配置文件 编辑每个实例下的 `redis.conf` 文件，设置不同的监听端口号和其他必要参数。以下是关键配置项： - 设置绑定 IP 地址：`bind 0.0.0.0` - 关闭保护模式：`protected-mode no` - 开启集群功能：`cluster-enabled yes` - 指定集群配置文件位置：`cluster-config-file nodes-{port}.conf` - 设定日志级别：`loglevel notice` ##### 4. 启动 Redis 实例 依次启动各个 Redis 实例。例如： ```bash redis-server /service/redis/6379/redis.conf redis-server /service/redis/6380/redis.conf ``` 如果是在多台物理机上部署，则需要远程登录每台机器重复上述过程[^2]。 ##### 5. 构建集群拓扑 利用 `redis-cli` 的集群管理工具完成初始化操作。假设当前存在六个节点分布在三台主机上，则可输入如下指令构建集群关系： ```bash redis-cli --cluster create \ 192.168.x.y:6379 192.168.x.z:6379 ... \ --replicas 1 ``` 其中 `--replicas` 参数表示每个主节点分配几个副本[^4]。 ##### 6. 验证集群状态 最后可以通过以下方式验证集群是否正常运作： ```bash redis-cli -c -h {任意IP} -p {任一口号} CLUSTER INFO CLUSTER NODES PING SET key value GET key ``` --- #### 四、注意事项 - 如果使用 Docker 容器来部署 Redis 集群，请确保容器间网络互通良好。 - 对于 Windows 平台上的开发测试场景，可通过批处理脚本来简化服务启动流程[^3]。 --- #### 五、示例代码片段 下面展示了一个简单的 Python 程序用于连接至 Redis 集群并向其中写入一条记录： ```python import redis r = redis.StrictRedisCluster(startup_nodes=[{"host": "127.0.0.1", "port": "6379"}], decode_responses=True) r.set('foo', 'bar') print(r.get('foo')) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pythoncjavac++

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值