Redis集群搭建

Redis搭建集群模式 Redis 搭建集群的优缺点优点:支持数据的水平扩展,可以处理大规模数据提供高可用性,节点失效时能够自动进行故障转移高并发性能缺点:配置和管理复杂度较高不支持多键操作,某些命令在集群模式下受到限制需要更多的资源和节点来维持高可用性和性能。 阅读详情

安装环境:CentOS6.5 64位 ,当前Redis最新版本为3.2,所以本文以3.2为例担建Redis集群。

1、Redis服务器说明

用2台虚拟机(192.168.0.201和192.168.0.202),各安装3个Redis实例。分别为3个master和3个slave,模拟6台机器担建一个Redis集群。
192.168.0.201:6379
192.168.0.201:6380
192.168.0.201:6381

192.168.0.202:16379
192.168.0.202:16380
192.168.0.202:16381

2、安装Redis集群节点实例

单实例安装请参考《 Redis单实例安装与配置》
编译Redis源码前先检查系统是否安装了gcc,没安装的话执行yum install -y gcc安装。

1> 安装Redis

shell> wget http://download.redis.io/releases/redis-3.2.0.tar.gz
shell> tar -zxvf redis-3.2.0.tar.gz
shell> cd redis-3.2.0
shell> make && make install
shell> ln -s /usr/local/bin/redis* /usr/bin/
shell> cp src/redis-trib.rb /usr/bin/
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

2> 创建Redis节点

shell> ./utils/install_server.sh
   
  • 1
  • 1

安装Redis服务
在两台虚拟机上依次执行install_server.sh脚本分别各安装3个redis实例。在安装提示时输入上面约定的端口(如:6379,6380,6381,16379,16380,16381),改变端口后同时配置文件、日志文件和数据存储目录名会自动加上端口号,以和其它实例区别。如果对安装路径没有特殊要求的话,在安装时只需改变端口号,其它都保持默认即可。默认配置文件如下:
配置文件:/etc/redis/port.conf
日志文件:/etc/log/redis_port.log
数据存储目录(aof文件、rdb文件、集群节点配置文件):/var/lib/redis/port

注意:port为你设置的端口

make时如果遇到zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory错误,用make MALLOC=libc && make install重新安装。

Redis服务安装完成之后,服务会同时启动,且会自动加入到系统服务中,并设为开机启动。

3> 修改Redis实例的集群配置

修改绑定IP

Redis默认绑定的是127.0.0.0地址,需要将其修改为本机IP或0.0.0.0,集群中的各个节点才能互相通信。

sed命令是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作

# 192.168.0.201节点
shell> sed -i 's/127.0.0.1/0.0.0.0/g' /etc/redis/6379.conf
shell> sed -i 's/127.0.0.1/0.0.0.0/g' /etc/redis/6380.conf
shell> sed -i 's/127.0.0.1/0.0.0.0/g' /etc/redis/6381.conf
# 192.168.0.202节点
shell> sed -i 's/127.0.0.1/0.0.0.0/g' /etc/redis/16379.conf
shell> sed -i 's/127.0.0.1/0.0.0.0/g' /etc/redis/16380.conf
shell> sed -i 's/127.0.0.1/0.0.0.0/g' /etc/redis/16381.conf
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
修改端口号

安装完redis服务后,配置文件中集群的相关端口配置默认为6379,需要将其它几个非6379的端口修改过来。

# 192.168.0.201节点
shell> sed -i 's/6379/6380/g' /etc/redis/6380.conf
shell> sed -i 's/6379/6381/g' /etc/redis/6381.conf
# 192.168.0.202节点
shell> sed -i 's/6379/16379/g' /etc/redis/16379.conf
shell> sed -i 's/6379/16380/g' /etc/redis/16380.conf
shell> sed -i 's/6379/16381/g' /etc/redis/16381.conf
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
修改集群配置
cluster-enabled yes  
cluster-config-file nodes-6379.conf  
cluster-node-timeout 5000  
appendonly yes
   
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

cluster-enabled:开启集群模式
cluster-config-file:保存节点的配置信息,如集群中所有节点的IP、端口、状态、节点类型(master/slave)、节点ID、slots等
cluster-node-timeout:节点心跳超时时长
appendonly:开启aof文件存储

依次将每个实例配置文件中的以上注释打开,并修改成对应的值。

检查修改结果:

shell> cat /etc/redis/6380.conf | awk '{if($0 !~ /^$/ && $0 !~ /#/) {print $0}}' | grep 6380

port 6380
pidfile /var/run/redis_6380.pid
logfile /var/log/redis_6380.log
dir /var/lib/redis/6380
cluster-config-file nodes-6380.conf
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

有5处修改端口的地方,修改成功!

重新启动所有redis服务:

shell> service redis_portN restart
   
  • 1
  • 1

此时通过PS命令查看redis进程,和普通进程不同的是在进程名后边加了一个[cluster]标识。192.168.0.201节点如下图所示:
redis cluster进程
但它们现在都还是独立的实例,还没有分配到一个集群当中。没有master和slave关系。

查看服务详情及配置文件信息:
服务详情

3、创建Redis集群

1> 安装ruby环境

创建集群要用到ruby的一个脚本,在创建集群前,先安装ruby的运行环境和ruby的redis客户端。

shell> yum -y install ruby rubygems
shell> gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/  # 配置taobao的源
shell> gem install redis --version 3.2.0
   
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

2> 创建集群

shell> redis-trib.rb create --replicas 1 192.168.0.201:6379 192.168.0.201:6380 192.168.0.201:6381 192.168.0.202:16379 192.168.0.202:16380 192.168.0.202:16381
   
  • 1
  • 1

参数说明:
1> redis-trib.rb脚本默认安装在$REDIS_SRC_HOME/src目录下,在安装redis服务时,已将其拷贝到/usr/bin目录下
2> create:创建集群参数
3> –replicas 1:每个master有1个slave节点
根据节点顺序确定master与slave节点,前边的优先选择做为master节点,后边优先选择做为slave节点。由脚本自动分配,但master和slave绝对不会分配在同一台机器上。

3> 检查Redis集群状态

shell> redis-trib.rb check 192.168.0.201:6379
   
  • 1
  • 1

Redis集群状态
从上图可以看出,192.168.0.201:6379、192.168.0.201:6380、192.168.0.201:6381被选为了master节点。192.168.0.202:16379被选为192.168.0.201:6381的slave节点,192.168.0.202:16380被选为192.168.0.201:6379的slave节点,192.168.0.202:16381被选为192.168.0.201:6380的slave节点。

到这儿Redis的集群就配置成功了!

4、验证Redis集群

数据存储测试
# 连接到201的6379节点
shell> redis-cli -c -h 192.168.0.201 -p 6379
192.168.0.201:6379> set foo abc
-> Redirected to slot [12182] located at 192.168.0.201:6380
OK
192.168.0.201:6380>
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

set foo abc本想在201的6379节点保存foo这个key,但201的6379节点并没有存,而是将请求转发给了201的6380节点存储。而且客户端自动切换到了6380节点。这是神马情况?这其实是redis集群数据存储的机制,通过crc16算法计算key的hash值,然后对16384取模,得到一个0~16384以内的slot值来决定由哪个节点存储,而每一个节点在创建集群的时候,都会均匀的分配相应的slot数量。有关数据存储的机制,请参考后面的文章。

自动选主测试

从上边的集群状态中得知,192.168.0.202:16381被选为192.168.0.201:6380的slave节点,现在把6380 master节点kill掉,看redis会不会将16381选主为master节点,并将刚刚保存的foo这个key有没有复制到16381节点中。如下图所示:
自动选主测试结果
从上图测试结果可以看出,当master节点挂掉之后,slave节点自动选举成了master节点,并且之前保存在master节点的数据foo也成功复制给了slave节点。

注意点:

1.在防火墙中开启例子中的6个端口。

/sbin/iptables -I INPUT -p tcp --dport 6379 -j ACCEPT #开启6379端口

/etc/rc.d/init.d/iptables save #保存配置

/etc/rc.d/init.d/iptables restart #重启服务

2.redis开启远程访问

redis默认只允许本地访问,要使redis可以远程访问可以修改redis.conf
解决办法:注释掉bind 127.0.0.1可以使所有的ip访问redis,   若是想指定多个ip访问,但并不是全部的ip访问,可以bind
注意
在redis3.2之后,redis增加了protected-mode,在这个模式下,即使注释掉了bind 127.0.0.1,再访问redisd时候还是报错

修改办法:protected-mode no

3.redis配置密码

redis默认连接不需要密码,表示任何人都可以连接这台redis server进行数据的修改,不太安全。打开配置文件,找到requirepass foobared,打开注释,修改foobared为你自己的密码.

redis服务器设置密码后,使用service redis stop 会出现以下信息:
service redis stop
Stopping ...
OK
(error) NOAUTH Authentication required.
Waiting for Redis to shutdown ...
Waiting for Redis to shutdown ...
Waiting for Redis to shutdown ...
Waiting for Redis to shutdown ...

出现这样的错误信息,redis 这时是没有停止服务的。可以使用ps -ef | grep redis  查进程号 然后kill 掉。

解决办法:
修改redis服务脚本,vi /etc/init.d/redis,在stop方法中修改如下一句
$CLIEXEC -a "password" -p $REDISPORT shutdown

4.master配置了密码,slave如何配置

若master配置了密码,则slave也要配置相应的密码参数,否则无法进行正常复制的。
slave中配置文件内找到如下行,移除注释,修改密码即可,#masterauth  mstpassword

5.  注意事项:

a.如果是使用redis-trib.rb工具构建集群,集群构建完成前不要配置密码,集群构建完毕再通过config set + config rewrite命令逐个机器设置密码

b.如果对集群设置密码,那么requirepass和masterauth都需要设置,否则发生主从切换时,就会遇到授权问题,可以模拟并观察日志

c.各个节点的密码都必须一致,否则Redirected就会失败

config set masterauth abc

config set requirepass abc

config rewrite

设置密码后,redis-trib.rb check 192.168.0.201:6379  报错连接不上实例,解决方法:

vim /usr/lib/ruby/gems/1.8/gems/redis-3.2.0/lib/redis/client.rb

class Redis
  class Client

    DEFAULTS = {
      :url => lambda { ENV["REDIS_URL"] },
      :scheme => "redis",
      :host => "127.0.0.1",
      :port => 6379,
      :path => nil,
      :timeout => 5.0,
      :password => "gh*8pass",
      :db => 0,
      :driver => nil,
      :id => nil,
      :tcp_keepalive => 0,
      :reconnect_attempts => 1,
      :inherit_socket => false
    }

修改下默认密码就可以了

注意:修改redis.conf配置之后,要重新启动服务使其生效。

service redis restart
客户端访问:  redis-cli -h 192.168.0.201 -p 6379 -a 123456

6.密码设置注意点

方式一:修改所有Redis集群中的redis.conf文件加入: 
masterauth passwd123 
requirepass passwd123 
说明:这种方式需要重新启动各节点

方式二:进入各个实例进行设置: 
redis-cli -c -h 192.168.0.201 -p 6379 -a 123456
config set masterauth passwd123 
config set requirepass passwd123 
config rewrite 
之后分别使用如上命令给各节点设置上密码 
注意:各个节点密码都必须一致,否则Redirected就会失败, 推荐这种方式,这种方式会把密码写入到redis.conf里面去,且不用重启


超详细,多图文介绍redis集群方式并搭建redis伪集群 超多图文,对新手友好度极好。敲命令的过程中,难免会敲错,但为了截好一张合适的图,一旦出现一点问题,为了好的演示效果,就要从头开始敲。且看且珍惜。再认识redis集群前,若想先知道redis单机版的可查看,springboot整合redis。好了,下面开始了。每个redis实例可称为一个节点,安装redis并以默认端口启动是节点,不关闭,以另一个端口启动,是一个新节点。在另一台机器安装redis并启动,也是一个新节点。 阅读详情

相关推荐

Redis集群配置文件

Redis的集群配置文件,有关Redis的集群搭建详情请参见博文:http://blog.youkuaiyun.com/l1028386804/article/details/72633608

redis三种集群模式

一、单机模式 就是安装一个redis,启动起来,业务调用即可 有什么问题? 单机故障 容量瓶颈 QPS瓶颈 只适合一些性能不高、可靠性不用太强的业务系统。 二、主从复制模式 可以解决单机模式的单机故障问题外,还有好处: 读写分离 容灾备份 假设我们要搭建1主2从,分别是6379、6380、6381端口 6379主节点redis.conf配置文件不需要动,只把6380、6381两个从节点redis.conf配置文件增加一行(配置主节点的ip端口) slaveof 127.0.0

sumengnan的博客 1715

k最近邻算法——电影分类及案例详解

如图3-7所示,若将国际象棋棋盘放在二维直角坐标系中,格子的边长定义为1,坐标的x轴及y轴和棋盘方格平行,原点恰落在某一格的中心点,则王从一个位置走到其他位置需要的步数恰为二个位置的切比雪夫距离,因此切比雪夫距离也称为棋盘距离。关于这里的距离度量,这个电影分类的例子有2个特征,也就是2维的,可以使用我们高中学过的两点距离公式(两点距离公式其实就是欧氏距离在二维空间上的公式,也就是欧氏距离n的值为2的情况,欧氏距离也称为欧几里德距离)来计算距离,如图3-3所示。对数据进行归一化,避免量纲对计算距离的影响。

ZhShy 4561

Redis 键(key)

Redis 键(key) Redis 键命令用于管理 redis 的键。 语法 Redis 键命令的基本语法如下: redis 127.0.0.1:6379> COMMAND KEY_NAME 实例 redis 127.0.0.1:6379> SET w3ckey redis OK redis 127.0.0.1:6379> DEL w3ckey (integer)

poijm 1094

ESP-SR实战:从零搭建智能语音唤醒与命令识别系统

本文详细介绍了如何利用乐鑫ESP-SR框架,从零开始搭建一个完整的离线智能语音交互系统。内容涵盖硬件选型(推荐ESP32-S3与数字麦克风)、开发环境配置(ESP-IDF与ESP-ADF),并深入解析了AFE声学前端、WakeNet唤醒词检测和MultiNet命令词识别三大核心模块的工作原理与实战配置。通过具体的代码示例和调试技巧,指导开发者快速实现高识别率的语音唤醒与命令控制功能。

weixin_29161785的博客 302

Versal ACAP NoC实战:像理解计算机网络一样配置AXI NoC,打通PS与PL数据通路

本文深入探讨了Versal ACAP NoC的配置与优化,通过计算机网络类比解析NoC架构,详细介绍了在VD100开发板上配置AXI NoC实现PS与PL数据交互的实战步骤。文章涵盖NoC组件功能、Vivado配置技巧、性能优化方法及常见问题解决方案,帮助开发者高效打通Versal芯片的数据通路。

weixin_42665255的博客 294

linux重启redis命令_Redis默认端口修改(阿里云服务器)

前两天在我自己的阿里云服务器上安装redis及RedisDesktopManager远程管理软件,用做学习使用,结果这两天不断收到阿里云的高危端口报警,不胜其烦。从安全角度来说,安装软件使用默认端口,相当于办理会员卡使用默认密码,确实比较危险,为减少告警,只能改使用其它端口替代redis默认端口。操作环境:阿里云linux服务器、Redis 5.0.5版本。操作步骤:1、进入linux服务,使用f...

weixin_39520353的博客 3564

RealSense D455的标定并运行VINS-FUSION

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

qq_40186909的博客 2万+

集群搭建(Redis)(超详细)

(超详细)集群搭建(Redis)

CharmingC1的博客 3920

ANSYS Help USER300

USER 300概述单元描述输入数据假设与限制条件 概述 单元描述 Mechanical APDL提供了一种方便的方法来创建自定义的单元,命名为USER300,可以创建几乎任何单元类型。 UserElem子程序为Mechanical APDL在单元类型创建上提供了一个接口,可传递用户自定义单元创建时所需的所有数据,然后从自定义单元返回所有数据和结果,以更新数据库和文件。因为通过接口可以访问数据库和文件信息,所以很少需要了解Mechanical APDL数据库程序和文件结构。该接口还提供了获取Mechanic

weixin_47019765的博客 2235

【深度学习】脸部修复,CodeFormer,论文,实战

Blind face restoration是一个高度 ill-posed 的问题,通常需要辅助引导来 1) 改善从降级输入到期望输出的映射,或者 2) 补充在输入中丢失的高质量细节。在本文中,我们展示了在一个小的代理空间中学到的离散码本先验可以通过将盲目的面部恢复建模为 a code prediction task来大大减少恢复映射的不确定性和模糊性,同时为生成高质量面部提供丰富的视觉元素。

q742971636的博客 2999

【Redis快速入门】Redis三种集群搭建配置(主从集群、哨兵集群、分片集群)

Redis集群🔥🔥🔥 写在前面:🧸 本章是基于CentOS7下的Redis集群教程,包括: 单机安装Redis Redis主从 Redis分片集群 1.单机安装Redis🧸.........

鱼干的博客 5021

NVIDIA Isaac Sim 联合 VS Code 开发调试环境配置

在 Visual Studio Code (VS Code) 中打开 Isaac Sim 软件包主文件夹,即可打开该工作区。注意建议在学习教程和示例时使用 Visual Studio Code。另请参见有关 VS Code 工作区的详细信息,请参阅 Visual Studio Code (VS Code) 文档。

2506_90492529的博客 3110

Windows下搭建Redis集群

一、首先下载好Redis的Windows版本,注意:Redis只有3.0之后的版本才有集群 1、下载好后直接解压,可看到这些目录   2、在解压的目录启动redis-server.exe启动redis服务,出现下图的效果则说明redis服务启动成功   二、搭建Redis集群   首先构建集群的节点目录,注意:集群正常运作至少需要三个主节点,不过在刚开始试用集群功能时, 强...

青衫 2万+

最佳RANSAC算法拟合矩形的实现(基于PCL库)

最佳RANSAC算法是一种常用的参数估计方法,用于从数据集中拟合出最佳的模型。在计算机视觉和图像处理领域,最佳RANSAC算法常用于拟合几何形状,如矩形。本文将详细介绍如何使用点云库(PCL)中的最佳RANSAC算法来拟合矩形,并提供相应的源代码。

JbPatch的博客 1544

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Redis集群搭建(非常详细)

https://blog.youkuaiyun.com/qq_42815754/article/details/82912130 redis集群搭建 在开始redis集群搭建之前,我们先简单回顾一下redis单机版的搭建过程 下载redis压缩包,然后解压压缩文件; 进入到解压缩后的redis文件目录(此时可以看到Makefile文件),编译redis源文件; 把编译好的redis源文件安装到/usr/local/redis目录下,如果/local目录下没有redis目录,会自动新建r

yygr的博客 2万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【Redis 集群搭建】

redis 安装 redis 集群linux 安装

weixin_43836340的博客 3107

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

搭建Redis集群

新的的命令:redis-cli --cluster create 192.168.40.101:7000 192.168.40.101:7001 192.168.40.101:7002 192.168.40.101:7003 192.168.40.101:7004 192.168.40.101:7005 --cluster-replicas 1。- cluster-config-file nodes-7000.conf //集群节点配置文件。2.默认情况下该节点就是以master节点形式添加。

2401_86341340的博客 963

Redis集群之cluster搭建

redis主从集群,哨兵集群,可以应对高并发读的场景,但是高并发写与海量数据存储的问题依然不能解决,主从之间数据同步的缺陷就限制了主服务器内存不能设置的太高,为解决并发写与高可用的问题引入了分片集群(cluster)Cluster集群模式也被称为切片集群是Redis官方推荐使用的一种模式,Cluster方案采用哈希槽(hash slot)来处理实例之间的映射关系,在集群中总共有16384个哈希槽,默认形式是将16384个哈希槽分配给所有的节点,即哈希槽与集群节点绑定。

weixin_45476104的博客 2314

Redis集群的搭建

Redis集群的搭建 目录 Redis集群的搭建 Redis Cluster的安装步骤 1.先在目录下创建五个文件夹(如果跨服务器搭建集群,必须绑定127.0.0.1和网卡ip自己的) 2.更改redis.conf配置文...

LiuY521的博客 894

Redis 集群搭建详细指南

Redis 是一个开源的 key-value 存储系统,由于出众的性能,大部分互联网企业都用来做服务器端缓存。Redis 在3.0版本前只支持单实例模式,虽然支持主从模式、哨兵模式部署来解决单点故障,但是现在互联网企业动辄大几百G的数据,可完全是没法满足业务的需求,所以,Redis 在 3.0 版本以后就推出了集群模式。Redis 集群采用了P2P的模式,完全去中心化。Redis 把所有的 Key 分成了 16384 个 slot,每个 Redis 实例负责其中一部分 slot。

2401_86940371的博客 1580

redis搭建 和 redis集群搭建

redis搭建 1.首先安装环境,需要在联网情况下 yum install gcc-c++ 2.使用xftp将redis的tar包上传到虚拟机中,在这里我新建了一个software文件夹用来存放上传的文件。 切换到根目录里 mkdir software 3.解压缩redis的tar包 tar zxf redis-3.0.0.tar.gz 4.切换到解压缩的redis目录里面,使用make进行编译 ...

GEEK-BANANA 282
上一篇: Centos配置国内yum源
下一篇: Redis集群管理
java20150326
博客等级 码龄12年 20粉丝 75原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值