redis集群模式安装与数据迁移验证记录

最新推荐文章于 2025-07-07 15:09:01 发布
原创 最新推荐文章于 2025-07-07 15:09:01 发布 · 537 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis集群

本文介绍了Redis三种模式，包括主从、哨兵和集群模式。详细阐述了在CentOS 7.2系统上搭建Redis集群模式（三主三从）的步骤，如安装准备、部署、启动实例、创建集群和设置密码等。还讲解了使用redis - trib.rb工具进行异构集群间的数据迁移，包括工具介绍和迁移操作。

目录

一、说明

使用一台服务器，搭建redis集群模式（三主三从），并从原redis数据库（redis哨兵模式，一主一从）迁移数据。

二、 redis三种模式

2.1 主从模式

redis2.8版本之前的模式
持久化功能会把内存中的数据保存在硬盘上，重启时，从硬盘加载数据，以保证保证在服务器重启的情况下不会丢失（或少量丢失）数据。
但数据仍然是存储在一台服务器上。如果该服务器出现硬盘故障等，数据就会丢失。
为了避免单点故障导致的数据丢失，通常的做法是将数据库复制多个副本部署在多台服务器上（即从数据库）。单点故障时，其他服务器能够继续提供服务。
为此， Redis 提供了复制（replication）功能，可以实现当一台数据库中的数据更新后，自动将更新的数据同步到其他数据库上。

2.2 哨兵sentinel模式

redis2.8及之后的模式
在主从模式中，当主数据库遇到异常中断服务后，开发者需要人工介入，手动选择一个从数据库升格为主数据库来继续提供服务。
Redis 2.8中提供了哨兵工具，来实现自动化的系统监控和故障恢复功能。
顾名思义，哨兵的作用就是监控Redis系统的运行状况。它的功能包括以下两个。

  • 监控主数据库和从数据库是否正常运行。
  • 主数据库出现故障时自动将从数据库转换为主数据库。

2.3 集群模式（cluster）

redis3.0版本之后
即使使用哨兵，redis每个实例也是全量存储，每个redis存储的内容都是完整的数据，浪费内存且有木桶效应。Redis在高并发、大数据量的情况内存压力将会增大；为了最大化利用内存，可以采用集群，就是分布式存储。即将Redis的数据根据一定的规则分配到多台机器：
一个 Redis 集群包含 16384 个哈希槽（hash slot），数据库中的每个键都属于这 16384 个哈希槽的其中一个，集群中的每个节点负责处理一部分哈希槽。
一般集群建议搭建三主三从架构，三主提供服务，三从提供备份功能。

三、集群模式部署

3.1 安装准备

  • 系统： CentOS 7.2
  • ip： 192.168.100.99
  • redis版本： redis-4.0.11
  • 节点： 192.168.100.3:7001、192.168.100.3:7002、192.168.100.3:7003、192.168.100.3:7004、192.168.100.3:7005、192.168.100.3:7006

3.2 安装部署

  1. 安装必要的工具
sudo yum install tcl
sudo yum install gcc
sudo yum install make
sudo yum install ruby
sudo yum install rubygems
sudo gem install redis

安装可能出现的问题
安装redis报错
安装更新版本的ruby：

sudo yum install centos-release-scl-rh　　　#会在/etc/yum.repos.d/目录下多出一个CentOS-SCLo-scl-rh.repo源
sudo yum install rh-ruby23  -y		#安装ruby
sudo scl enable rh-ruby23 bash
ruby -v		#查看版本
  1. 下载、解压及安装
sudo mkdir /usr/local/redis
cd /usr/local/redis
sudo wget http://download.redis.io/releases/redis-4.0.11.tar.gz
sudo tar -xvf redis-4.0.11.tar.gz
cd redis-4.0.11
sudo make
  1. 修改配置文件
cd /usr/local/redis/redis-4.0.11
sudo mkdir data			#数据文件存储在该路径下
sudo mkdir logs			#日志文件路径
sudo mkdir config-files
# 依次创建7001-7006六个配置文件，分别为六个实例的配置文件
sudo cp redis.conf ./config-files/redis_7001.conf
sudo cp redis.conf ./config-files/redis_7002.conf
sudo cp redis.conf ./config-files/redis_7003.conf
sudo cp redis.conf ./config-files/redis_7004.conf
sudo cp redis.conf ./config-files/redis_7005.conf
sudo cp redis.conf ./config-files/redis_7006.conf
cd config-files

依次修改六个配置文件 ，主要需要修改以下参数，以7001为例

#bind 127.0.0.1			#绑定IP，即绑定本地回环地址。开启这个配置时，redis 只接收来自于该 IP 地址列表的请求，如果不进行设置，那么将处理所有请求
protected-mode no		#关闭保护模式
port 7001				#端口号，
daemonize yes			#配置redis作为守护进程运行
cluster-enabled yes		#开启集群功能
appendonly yes			#配置数据持久化， 开启aof日志。有需要就开启，它会每次写操作都记录一条日志
dbfilename dump_7001.rdb	#自动生成到data目录下面，需要写一个文件名，按照端口号区分
dir ./data				#数据文件的路径
logfile "/usr/local/redis/redis-4.0.11.logs/7001.log"					#日志文件的路径
appendfilename "appendonly_7001.aof"
pidfile /var/run/redis_7001.pid
cluster-config-file nodes-7001.conf
  1. 防火墙设置
firewall-cmd --zone=public --add-port=7001/tcp --permanent
firewall-cmd --zone=public --add-port=7002/tcp --permanent
firewall-cmd --zone=public --add-port=7003/tcp --permanent
firewall-cmd --zone=public --add-port=7004/tcp --permanent
firewall-cmd --zone=public --add-port=7005/tcp --permanent
firewall-cmd --zone=public --add-port=7006/tcp --permanent
firewall-cmd --reload

3.3 启动实例

逐一启动，比较麻烦，可以写成shell脚本

sudo vim /usr/local/redis/redis-4.0.11/start.sh

脚本如下：

#!/bin/bash
./src/redis-server ./config-files/redis_7001.conf
./src/redis-server ./config-files/redis_7002.conf
./src/redis-server ./config-files/redis_7003.conf
./src/redis-server ./config-files/redis_7004.conf
./src/redis-server ./config-files/redis_7005.conf
./src/redis-server ./config-files/redis_7006.conf

运行start.sh脚本

sudo sh start.sh
ps -ef | grep redis

结果如下：
start.sh运行结果

3.4 创建集群

使用edis-trib.rb工具创建集群

./src/redis-trib.rb create --replicas 1 192.168.100.3:7001 192.168.100.3:7002 192.168.100.3:7003 192.168.100.3:7004 192.168.100.3:7005 192.168.100.3:7006

结果如下：

在这里插入图片描述
集群验证：

./src/redis-trib.rb check 127.0.0.1:7001

登录：

./src/redis-cli -c -h 192.168.100.3 -p 7001

3.5 设置密码

注：因为涉及到数据迁移，这里建议先进行迁移后再设置密码，以免迁移时出现问题

逐个进入redis节点，进行设置

./src/redis-cli -c -h 192.168.100.3 -p 7001
#登录redis
192.168.100.3:7001>config set masterauth passwd
192.168.100.3:7001>config set requirepass passwd
192.168.100.3:7001>config rewrite

四、使用redis-trib.rb工具进行异构集群间的数据迁移

4.1 redis-trib.rb工具介绍

概述

redis-trib.rb是官方提供的Redis Cluster的管理工具，无需额外下载，默认位于源码包的src目录下，但因该工具是用ruby开发的，所以需要准备相关的依赖环境。
部署redis集群模式时，创建集群即使用的该工具。
注意源数据库不能为集群模式；

支持的操作

	# redis-trib.rb help
 	Usage: redis-trib <command> <options> <arguments ...>
 	
 	  create          host1:port1 ... hostN:portN
 	                  --replicas <arg>
 	  check           host:port
 	  info            host:port
 	  fix             host:port
 	                  --timeout <arg>
 	  reshard         host:port
 	                  --from <arg>
 	                  --to <arg>
 	                  --slots <arg>
 	                  --yes
 	                  --timeout <arg>
 	                  --pipeline <arg>
 	  rebalance       host:port
 	                  --weight <arg>
 	                  --auto-weights
 	                  --use-empty-masters
 	                  --timeout <arg>
 	                  --simulate
 	                  --pipeline <arg>
 	                  --threshold <arg>
 	  add-node        new_host:new_port existing_host:existing_port
 	                  --slave
 	                  --master-id <arg>
 	  del-node        host:port node_id
 	  set-timeout     host:port milliseconds
 	  call            host:port command arg arg .. arg
 	  import          host:port
 	                  --from <arg>
 	                  --copy
 	                  --replace
 	  help            (show this help)
 	
 	For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

import 说明

其内部处理流程如下：

  1. 通过load_cluster_info_from_node方法加载集群信息，check_cluster方法检查集群是否健康。
  2. 连接外部redis节点，如果外部节点开启了cluster_enabled，则提示错误（[ERR] The source node should not be a cluster node.）
  3. 通过scan命令遍历外部节点，一次获取1000条数据。
  4. 遍历这些key，计算出key对应的slot。
    执行migrate命令,源节点是外部节点,目的节点是集群slot对应的节点，如果设置了–
  5. copy参数，则传递copy参数，其会保留源节点的key，如果设置了–replace，则传递replace参数。如果目标节点中存在同名key，其值会被覆盖。两个参数可同时指定。
  6. 不停执行scan命令，直到遍历完所有key。

4.2 数据迁移

gem install redis 安装的版本较高，无法使用import，因此要重新安装3.3.3-3.3.5之间的版本

sudo gem uninstall redis
sudo gem install redis -v 3.3.3

同时源数据库要设置成无密码访问，配置文件里注释掉requirepass一行，并重启源数据库【略】

#requirepass "123456"

进行数据迁移

./src/redis-trib.rb import --from 192.168.100.3:6379 --copy --replace 192.168.100.3:7001
来聊聊redis集群数据迁移
禅与计算机程序设计的艺术
07-23 1443
redis集群提供16384个slot，我们可以按需分配给节点上，后续进行键值对存储时，我们就可以按照算法将键值对存到对应slot上的redis服务器上：集群节点本质就是通过slots这个数组记录当前节点的所管理的情况，这里我们可以看到slots是一个char数组，长度为char占1个字节，每个字节8位。每个char可以记录8个slot的情况，如果是自己的slot则对应char的某一个位置记录为1：我们以node-1。
Redis 数据迁移工具：大数据环境下的无缝迁移方案
最新发布
小程序开发
09-14 974
当Redis集群的数据量从GB级跃升至TB级，当业务需要从自建机房迁移到云端，当集群需要扩容以应对流量峰值时，数据迁移成为运维工程师必须解决的核心问题。大数据环境下的Redis迁移，既要保证零 downtime（业务不中断），又要确保数据一致性（不丢数据、不重复数据），还要应对性能瓶颈（避免源/目标集群过载）。本文将从迁移原理工具选型实践步骤未来趋势四个维度，用"搬家"、“转账"等生活化比喻拆解复杂概念，结合Redisson等工具的实战案例，为你提供一套可落地的"无缝迁移方案”。
Redis集群数据迁移操作文档
06-29
1、新旧redis集群迁移 2、支持redis集群的存量和增量数据迁移 3、支持redis集群数据的离线迁移
Redis集群扩容与收缩和群集数据迁移
Mr.李的博客
05-17 3101
文章目录前言redis节点扩容在redis1,上准备新节点启动新节点配置使新节点加入群集在其他的master上分配槽redis节点收缩忘记节点（下线）移除后验证是否成功redis 数据导入导出（迁移）需求背景redis-migrate-tool安装创建配置文件生成测试数据执行导入命令数据校验,抽样检查 前言 这一篇是承接上一篇博客的，是在redis自动构建完成以后的操作 可参考：https://blog.youkuaiyun.com/weixin_43815140/article/details/106163920 r
Redis3.0集群完全版（数据迁移问题）
热门推荐
架构技术专栏
02-03 1万+
Redis3.0集群安装手册     一、概述 要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
Redis Cluster在线迁移
weixin_33890499的博客
11-02 267
由于之前的redis cluster物理硬件性能不足。决定升级到更好的服务器上。考虑到redis是核心生产数据库，决定在线迁移，迁移过程，不中断服务。下面是测试环境的完成迁移步骤：1. 原环境（测试环境，没有创建slave）10.21.14.251:7000 10.21.14.251:7001 10.21.14.251:70022. 在新主机上，启动三个redis实例10.21.10.120:70...
Redis 集群模式
分享既学习
07-05 2248
Redis 3.0 提供了 Redis Cluster 架构，有效解决 Redis 分布式方面的需求。当遇到单机内存、并发、流量瓶颈时，可以使用 Redis 集群模式解决，达到负载均衡的目的。本篇文章将介绍 Redis 集群搭建运维。
用于redis集群的数据迁移。.zip
01-03
总的来说，这个项目提供了一种使用Go语言进行Redis集群数据迁移的方法，结合源代码和数据集，开发者可以深入理解迁移过程的细节，并根据实际需求进行定制。通过这样的工具，IT专业人员可以更便捷地管理和维护他们的...
redis数据库迁移
A_nanda的博客
04-03 1113
在 Redis 中进行数据库迁移（如从本地服务器迁移到云环境，或从旧集群迁移到新集群）需要根据数据量、停机时间要求和网络环境选择合适的方案。redis-cli -h [目标IP] -p [目标端口] REPLICAOF [源IP] [源端口]redis-benchmark -h [目标IP] -p [目标端口] -c 50 -n 100000。redis-cli -h [目标IP] -p [目标端口] DBSIZE。redis-cli -h [源IP] -p [源端口] SAVE。
【Redis】Redis Cluster-集群数据迁移
S-H_A-N
06-21 3297
Redis通过对KEY计算hash，将KEY映射到slot，集群中每个节点负责一部分slot的方式管理数据，slot最大个数为16384。 在集群节点对应的结构体变量clusterNode中可以看到slots数组，数组的大小为CLUSTER_SLOTS除以8，CLUSTER_SLOTS的值是16384： clusterStateclusterNode里面保存了节点相关的信息，集群数据迁移信息并未保存在clusterNode中，而是使用了clusterState结构体来保存： clusterState与cl
Redis数据迁移与校验
雪辉博客
08-26 1387
文章目录一、Redis数据迁移1.1 Redis数据迁移工具1.1.1 redis-migration1.1.2 redis-migrate-tool1.1.3 redis-port1.1.4 redis-shake1.2 redis-shake介绍二、Redis数据校验2.1 redis-full-check   Redis常见的数据迁移方式有以下三种：RDB迁移、AOF迁移、主从复制。   使...
Redis Cluster高可用集群在线迁移操作记录
weixin_30765319的博客
10-24 160
之前介绍了redis cluster的结构及高可用集群部署过程，今天这里简单说下redis集群的迁移。由于之前的redis cluster集群环境部署的服务器性能有限，需要迁移到高配置的服务器上。考虑到是线上生产环境，决定在线迁移，迁移过程，不中断服务。操作过程如下： 一、机器环境 迁移前机器环境 -------------------------------------...
redis cluster数据迁移
y_zilong的博客
11-05 1607
1、首先确定集群状态，搭建new redis cluster请看前面的文章 集群1迁移集群2 集群模式：1 192.168.121.17:7001, 192.168.121.17:7002, 192.168.121.18:7003, 192.168.121.18:7004, 192.168.121.19:7005, 192.168.121.19:7006 集群模式：2 10.192.64.29:7001, 10.192.64.29:7002, 10.192.64.30:7003, 10.1
Redis集群数据迁移
登高~
07-17 507
【代码】Redis集群数据迁移。
redis集群数据迁移
a13568hki的博客
05-20 392
https://github.com/vipshop/redis-migrate-tool #仅支持redis3及以下版本 https://github.com/tanruixing88/redis-migrate-tool #基于上述版本修改，支持redis4及以上版本 依赖 yum -y install automake libtool autoconf bzip2 安装 git clone https://github.com/tanruixing88/redis-migrate-tool.git
redis哨兵集群数据迁移_一种redis集群间数据迁移廉价方案
weixin_39945789的博客
12-19 402
redis集群间迁移的数据方式有很多，假如现在只是想把部分数据从A集群迁移到B集群有什么好办法？当然方法也有很多啦，不过有没有很廉价、很便捷、高度复用的方法？当然有啦。那就是bash这个利器。我抽空写了一个，支持从两个集群间搬迁，有以下特点：1、自动识别类型，不用写策略模式了2、scan扫描，规避集群block风险3、自动forward到正确的分片4、自定义key，支持部分搬迁也支持整体...
linux redis 数据迁移,redis cluster 迁移数据
weixin_42510567的博客
05-12 301
现有环境实验背景:CentOS Linux release 7.3.1611redis 4.0.6192.168.1.116192.168.1.117redis信息:192.168.1.116192.168.1.116:7000192.168.1.116:7001192.168.1.116:7002192.168.1.116:7003192.168.1.116:7004192.168.1.116:...
Go-redis-migrate：Redis集群数据迁移解决方案
weixin_34640289的博客
07-07 755
在当今这个数据密集型的世界里，Go-redis-migrate工具是专为Redis数据库数据迁移设计的，它利用Go语言的强大并发处理能力和简洁的语法特性，实现了高效、稳定的数据迁移解决方案。本章将对Go-redis-migrate进行一个概览性介绍，概述其功能、用途以及在数据迁移领域中的重要地位。Go-redis-migrate是一款使用Go语言开发的开源数据迁移工具。
Redis单机至哨兵集群数据迁移操作指南
关于使用工具类进行Redis数据迁移，由于给出的信息中并未提供具体的工具类代码，我们可以假设存在一个名为MultiRedisDatabase的工具类，该类可能提供了丰富的API接口，支持单机Redis与哨兵集群之间的数据迁移操作。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值