redis分布式集群

最新推荐文章于 2024-10-10 19:18:07 发布
最新推荐文章于 2024-10-10 19:18:07 发布
阅读量5k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010519674/article/details/107852154
本文详细介绍了如何在有限的机器资源下，通过不同端口搭建Redis 5.0.8的分布式集群，包括环境配置、启动脚本、集群创建、槽位分配、数据存取、节点扩容与缩容等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

搭建一个redis 分布式集群，机器有限，采用不同端口，使用版本 redis-5.0.8

服务器

模拟了7台服器，3个主节点4个从节点。6台服务器比较好，3主3从，多建了一台。

ip
127.0.0.1:6390
127.0.0.1:6391
127.0.0.1:6392
127.0.0.1:6393
127.0.0.1:6394
127.0.0.1:6395
127.0.0.1:63906

3个主从节点构成分布式，单个主从节点内部高可用，每个单节点数据只有一部分，整个集群数据是完整的

环境搭建

  • 配置
    redis.conf配置如下
 # 修改为yes
daemonize yes
#数据存储目录
dir /root/redis-cluster/6390/data
# 修改为 0.0.0.0
bind 127.0.0.1 
# 密码配置，可忽略
requirepass ikamg
masterauth ikang

port 6390
pidfile /var/run/redis_6390.pid
# 开启集群模式
cluster-enabled yes
# 每个集群节点都需要一个配置文件，每个节点处于集群中的角色要告知其他所有节点，这个文件是由redis自己维护的，只需要进行配置即可
cluster-config-file nodes-6390.conf
# 超时时间，超时则认为master宕机，随后进行主备切换
cluster-node-timeout 5000
# 开启AOF
appendonly yes

配置6份配置文件

  • 启动脚本
    start-redis.sh
redis-server /root/redis-cluster/6390/redis.conf
redis-server /root/redis-cluster/6391/redis.conf
redis-server /root/redis-cluster/6392/redis.conf
redis-server /root/redis-cluster/6393/redis.conf
redis-server /root/redis-cluster/6394/redis.conf
redis-server /root/redis-cluster/6395/redis.conf
redis-server /root/redis-cluster/6396/redis.conf
  • 启动
./start-redis.sh

在这里插入图片描述
启动成功

  • 创建集群

Redis 3.x创建分布式集群需要在一个ruby的环境下，在Redis的src目录下执行：redis-trib.rbn， 此处使用 Redis 5.0,不需要ruby 环境，使用 redis-cli cluster 即可

redis-cli --cluster create 127.0.0.1:6390 127.0.0.1:6391 127.0.0.1:6392 127.0.0.1:6393 127.0.0.1:6394 127.0.0.1:6395 127.0.0.1:6396 --cluster-replicas 1

在这里插入图片描述
在这里插入图片描述
创建成功，槽位全部分配，平均分配，主从关系已确定

redis 槽位

  • 槽位一共16384个，用来存储集群中所有数据，数据存储位置是由hash(key)%16384 计算结果就是存储的槽位
  • 槽位必须保证完整，副本没有槽位的，当主挂点后副本变为从，主槽位归副本所有
  • 如果主挂掉，且没有可用副本，此时槽位不完整，集群不可用
  • 超过半数以上主挂掉，不管副本是否完整，集群不可用
  • 槽位分布
M: c6a0f6579d032c3655977adbbe155cf2c35501ee 127.0.0.1:6390
   slots:[0-16383] (5461 slots) master
M: 8f1b48b38e31072db126c18385638b088b21fcf2 127.0.0.1:6391
   slots:[5461-10922] (5462 slots) master
M: 277b33cdad19aebd54c789dbe00f1037f111fa07 127.0.0.1:6392
   slots:[10923-16383] (5461 slots) master
S: d331b6fff4b31901b6d865d9115c762cee195db7 127.0.0.1:6393
   replicates 277b33cdad19aebd54c789dbe00f1037f111fa07
S: 36c40c11bc07994eb522311050fdea8351135e11 127.0.0.1:6394
   replicates c6a0f6579d032c3655977adbbe155cf2c35501ee
S: 7948767ef8358d9f1e7094936e7f33e5201d5a48 127.0.0.1:6395
   replicates c6a0f6579d032c3655977adbbe155cf2c35501ee
S: 4dec11e45d58d9533b5ab2af7f3a3ff295290cd0 127.0.0.1:6396
   replicates 8f1b48b38e31072db126c18385638b088b21fcf2
  • 数据存取
127.0.0.1:6390> set a 1
-> Redirected to slot [15495] located at 127.0.0.1:6392
OK
127.0.0.1:6392> set b 2
-> Redirected to slot [3300] located at 127.0.0.1:6390
OK
127.0.0.1:6390> set c 3
-> Redirected to slot [7365] located at 127.0.0.1:6391
OK
127.0.0.1:6391> 
127.0.0.1:6391> get a 
-> Redirected to slot [15495] located at 127.0.0.1:6392
"1"
127.0.0.1:6392> get b 
-> Redirected to slot [3300] located at 127.0.0.1:6390
"2"
127.0.0.1:6390> get c
-> Redirected to slot [7365] located at 127.0.0.1:6391
"3"
127.0.0.1:6391>
  • 写入a=1时：被存储到第 15495槽位，127.0.0.1:6392 slots:[10923-16383]， 被存储在 6392上，查询时也是从6392 查询
  • 集群没有数据库概念，select 失效，keys * 只能查看登陆节点信息

节点扩容

新增 6380、6381 两个节点，6380为主节点，6381为从

  • 新建主节点
  • 分配槽位
  • 配置主节点
  • 新增节点
# 127.0.0.1:6380 任意一个新增节点
# 127.0.0.1:6390 任意一个可用节点 
redis-cli --cluster add-node 127.0.0.1:6380 127.0.0.1:6390 cluster nodes
  • 分配槽位
#按照节点分配，从那些节点分出一部分槽点给新建节点
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from c6a0f6579d032c3655977adbbe155cf2c35501ee, 277b33cdad19aebd54c789dbe00f1037f111fa07, 8f1b48b38e31072db126c18385638b088b21fcf2 --cluster-to 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-slots 4096 --cluster-yes
# 另一种分配方式， 将原有的所有slot进行总量分配
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from all --cluster-to ac9a38f82c78b7c6f283e1f05c08c8c32726d7dd --cluster-slots 4096 --cluster-yes

在这里插入图片描述

  • 新增节点分配主节点
redis-cli --cluster add-node 127.0.0.1:6381 127.0.0.1:6390 --cluster-slave --cluster-master-id 99f55dfe4bd4e621760efa79089b51519ae4474d

在这里插入图片描述
分配成功

节点缩容

集群新增了 6380，6381 两个节点，把两个节点删除，

  • 先删除从节点6381
  • 转移主节点槽位
  • 删除主节点6380
  • 删除从节点
# 登陆任意节点  127.0.0.1:6390 
redis-cli --cluster del-node 127.0.0.1:6390 e1b0e6fdd23a0ef776cc0893d9bc44adeb1fe5f7
  • 转移槽位
# 转移到其他节点--cluster-from 从哪里转，--cluster-to 到哪 --cluster-slots 槽位个数
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-to 277b33cdad19aebd54c789dbe00f1037f111fa07 --cluster-slots 1365 --cluster-yes

redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-to c6a0f6579d032c3655977adbbe155cf2c35501ee --cluster-slots 1365 --cluster-yes

redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-to 8f1b48b38e31072db126c18385638b088b21fcf2 --cluster-slots 1365 --cluster-yes

在这里插入图片描述

  • 删除主节点
redis-cli --cluster del-node 127.0.0.1:6390  99f55dfe4bd4e621760efa79089b51519ae4474d

删除成功

集群写操作

  • 客户端向主节点6390写入数据
  • 主节点6390 写入成功后向客户端返回写入成功
  • 主节点6390 先从节点同步数据

从上面过程得知，redis集群，保证了AP，数据是弱一致性，强调最终一致性，可能会导致数据丢失。集群内部出现脑裂时，导致数据丢失。

总结

  • 每个主节点必须要有一个从节点，槽位分布在主节点的，如果一旦启动一个主节点崩溃，槽位丢失，数据不完整，导致服务不可用
  • 数据存储，根据key 的哈希值与槽位取模存储到不同槽位
  • 集群创建后，自动分配槽位。
Redis分布式系统:集群
RNGWGzZs的博客
01-23 1078
Redis集群容灾、故障转移"还不如留给花园，多一瞬色彩~"当我们聊到“集群”这一个词，我们脑中构想出的画面，一定是多台机器，构成的分布式系统，这可以被称为一个“集群”。其实，在前篇的哨兵机制下，奇数个监控哨兵，以及多组主从结构的数节点所构成的大的环境，就是一个“广义的集群”。但，在Redis中“集群”一词是有所区别的，在Redis中有一种模式也叫做“集群”，这种“狭义的集群”，主要是为了解决存储空间不足的问题。——前言Redis集群模式。
十分钟搞懂使用Redis实现分布式锁
最新发布
weixin_43521001的博客
06-12 943
锁粒度尽量细化锁粒度（如按订单ID、用户ID加锁）避免在锁内执行耗时操作（如IO、RPC调用）过期时间合理设置过期时间（业务执行时间×1.5）关键业务使用看门狗机制监控告警监控锁获取成功率、等待时间设置锁等待超时告警降级策略高并发场景下可降级为本地锁（牺牲一致性）增加熔断机制避免级联故障代码规范使用try-finally确保锁释放避免在锁内抛出异常导致锁未释放锁操作与业务逻辑分离。
Redis高可用分布式内部交流(九)
weixin_33873846的博客
08-25 388
这是上月在公司内部的一次分享，现把PPT及交流内容整理成博客。 阅读目录： 高可用 数据同步 分布式 分布式集群时代 总结 高可用 高可用（High Availability），是当一台服务器停止服务后，对于业务及用户毫无影响。 停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致，在很多时候也称单点问题。 解决单点问题主要有2...
Redis分布式集群
Richardlygo的博客
08-30 409
目录 Redis集群 1、Redis Cluster简介 2、Redis Cluster环境说明 3、Redis部署 4、启动Redis 5、部署Reids Cluster 6、连接集群 7、管理集群 7.1、查看集群状态信息 7.2、添加集群节点 7.3、分配slot 7.4、删除集群节点 7.5、slot数量平衡 7.3、集群外部...
Redis分布式集群部署安装及细节.docx
06-19
"Redis分布式集群部署安装及细节" 一、Redis集群介绍 Redis集群是一种分布式的NoSQL数据库解决方案，它可以将多个Redis节点组合成一个集群，以提高数据存储和检索的性能和可用性。Redis集群支持自动发现节点、...
Redis分布式集群配置文档
12-16
Redis分布式集群配置文档 Redis是一种基于内存的NoSQL数据库，它支持数据持久化、事务、LUA脚本、管道、发布/订阅、消息队列等功能。为了提高Redis的可靠性和可扩展性，需要对其进行分布式集群配置。本文档将详细...
Centos7 三台主机（配置三主三从）Redis分布式集群
12-20
在本文中，我们将详细讨论如何在CentOS 7环境下配置一个由三台主机组成的Redis分布式集群，每台主机上都有一个主节点和一个从节点，总计六个节点。这个过程涵盖了安装Redis、创建服务、配置集群、启动集群以及测试...
redis分布式集群搭建
天羽云龙的博客
02-18 1934
CentOS 7 搭建 redis 分布式集群
Redis分布式集群实战——Redis主从复制、高可用、集群功能的实现
weixin_45792518的博客
05-23 831
1.Redis基础介绍与安装使用 1.1 什么是Redis？ Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets）与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua sc
Redis：分布式 - 集群
博客网站 https://async-area.com
10-10 1478
讲解Redis的分布式应用，集群
分布式Redis集群--Cluster架构
qq_44528357的博客
11-12 1970
分布式Redis高可用集群架构原理与部署
Redis分布式集群搭建
奇华资料的博客
10-30 352
Redis集群架构图     上图蓝色为redis集群的节点。 节点之间通过ping命令来测试连接是否正常，节点之间没有主区分，连接到任何一个节点进行操作时，都可能会转发到其他节点。 1、Redis的容错机制 节点之间会定时的互相发送ping命令，测试节点的健康状态，当节点接受到ping命令后，会返回一个pong字符串。 投票机制：如果一个节点A给节点B发送ping没有得到pong返...
Redis学习笔记11--Redis分布式
热门推荐
互联网架构之路
07-24 3万+
Redis-2.4.15目前没有提供集群的功能，Redis作者在博客中说将在3.0中实现集群机制。目前Redis实现集群的方法主要是采用一致性哈稀分片（Shard），将不同的key分配到不同的redis server上，达到横向扩展的目的。下面来介绍一种比较常用的分布式场景： 在读写操作比较均匀且实时性要求较高，可以用下图的分布式模式： 在读操作远远多于写操作时，可以用下图的分布式模式：
redis分布式集群数据库搭建
Matrix
09-14 4317
官方文档中写的是在本地环境下搭建数据库集群，而在我的开发环境中需要多网络节点的集群。下面是分布式Redis数据库搭建过程。环境是Ubuntu16.04LTS。 要让集群正常工作至少需要3个主节点，官网中强烈建议6个节点，在这里我创建7个redis节点，其中三个为主节点，四个为从节点，三个节点在一个网络节点中，四个单独对应一个网络节点。对应的redis节点的ip和端口对应关系如下： 192.16
linux redis分布式集群
03-28
<think>好的，我需要帮助用户在Linux环境下搭建Redis分布式集群。首先，我得回想一下Redis集群的基本概念。根据引用[1]，Redis集群是Redis的分布式运行模式，通过分片实现数据自动分区和管理，提高可用性和扩展性。用户需要的是部署与配置的具体步骤，所以应该分步骤说明。 首先，环境准备。用户需要在多台服务器或虚拟机上有Linux系统，并且安装Redis。可能需要提到安装Redis的步骤，比如通过源码编译或者包管理器安装。确保所有节点的Redis版本一致，引用[2]提到使用5.0.9版本，所以最好建议用户使用相同或兼容版本。 接下来是修改配置文件。每个节点需要不同的配置文件，设置端口、集群模式、持久化文件等。需要指导用户编辑redis.conf，开启集群模式，设置cluster-config-file，这部分需要具体参数示例，比如port 6379，cluster-enabled yes等。 然后是启动所有节点的Redis服务。用户需要逐个启动每个实例，或者用脚本批量启动。这里可能需要给出启动命令的例子，比如redis-server /path/to/redis.conf。 之后是创建集群。引用[2]中提到了使用redis-cli --cluster create命令，并带有具体的IP和端口，以及副本数。需要解释命令中的参数，比如--cluster-replicas 1表示每个主节点有一个从节点。用户需要替换示例中的IP和端口为自己的实际地址，同时注意防火墙设置，确保节点间通信。 创建完成后，验证集群状态。使用redis-cli --cluster check命令检查节点是否正常，主从关系是否正确。引用[4]提到在从服务器执行info replication查看角色，所以可能需要指导用户如何验证主从配置。 最后，可能还需要说明如何删除集群，比如引用[3]提到的关闭服务并删除相关文件，但用户当前的问题可能不需要这部分，不过可以放在注意事项里。 需要注意的问题包括：端口开放、配置文件正确、版本一致、数据目录权限等。可能还要提醒用户备份数据，处理可能出现的错误，比如节点无法加入集群时的排查步骤。 现在需要将以上步骤结构化，用清晰的中文分步骤说明，并确保LaTeX格式正确，行内公式用$...$，独立公式用$$...$$，不过在这个问题中可能数学公式较少，但如果有变量或代码示例需要正确格式化。代码块需要用三个反引号包裹，并注明语言。同时，生成相关问题，参考用户提供的示例中的问题形式，比如关于性能优化、节点故障处理等。</think>### Linux Redis分布式集群部署与配置教程 #### 一、环境准备 1. **服务器要求**：至少6台Linux服务器（或虚拟机），3台为主节点，3台为从节点（最小集群配置）[^1]。 2. **安装Redis**：在所有节点安装相同版本的Redis（建议≥5.0，示例使用5.0.9[^2]）： ```bash wget http://download.redis.io/releases/redis-5.0.9.tar.gz tar xzf redis-5.0.9.tar.gz cd redis-5.0.9 make && make install ``` #### 二、配置文件修改 1. **创建配置目录**： ```bash mkdir -p /opt/redis/cluster/700{0..5} # 示例端口7000-7005 ``` 2. **编辑配置文件**（以7000端口为例）： ```conf port 7000 cluster-enabled yes cluster-config-file nodes-7000.conf cluster-node-timeout 5000 appendonly yes daemonize yes ``` 其他节点需修改`port`和`cluster-config-file`名称。 #### 三、启动Redis服务 在所有节点执行： ```bash redis-server /opt/redis/cluster/700X/redis.conf # X为端口号 ``` 验证进程： ```bash ps -ef | grep redis ``` #### 四、创建集群 使用`redis-cli`命令创建集群（需替换实际IP）： ```bash redis-cli --cluster create \ 192.168.1.10:7000 192.168.1.11:7001 192.168.1.12:7002 \ 192.168.1.13:7003 192.168.1.14:7004 192.168.1.15:7005 \ --cluster-replicas 1 ``` - `--cluster-replicas 1`：表示每个主节点有1个从节点。 #### 五、验证集群状态 1. **检查集群节点**： ```bash redis-cli -h 192.168.1.10 -p 7000 cluster nodes ``` 2. **查看主从关系**（从节点执行）[^4]： ```bash redis-cli -p 7003 info replication ``` #### 六、注意事项 1. **防火墙开放端口**：需开放Redis端口（如7000-7005）和集群总线端口（Redis端口+10000，如17000-17005）。 2. **数据持久化**：配置文件已开启`appendonly`，数据会写入`appendonly.aof`和`dump.rdb`[^3]。 3. **删除集群方法**：关闭所有节点服务后，删除`nodes-*.conf`、`appendonly.aof`和`dump.rdb`文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值