windows redis 集群搭建(二)

本文详细介绍如何搭建Redis集群,包括配置更改、集群目录创建、服务启动、使用redis-trib工具初始化集群,以及集群测试的基本步骤。同时指出注意事项,如集群处于Alpha测试阶段,以及测试时建议使用六个节点以确保稳定性和可靠性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


  做redis集群需要注意的几点是:

?
1
2
3
4
  1、Redis 集群目前处于Alpha测试阶段,不过能用,目前新浪和twiter有在用,不过他们的集群有自己的解决方案,这个自己去google下,twiter已经把他们的方案开源出来了。
  2、测试用例的时候,强烈建议使用六个节点: 其中三个为主节点, 而其余三个则是各个主节点的从节点。
  3、需要搭建ruby的环境
  4.集群规范详细:http: //www.redis.cn/topics/cluster-spec.html


一、Redis集群的介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集.

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令.

Redis 集群的优势:

  1. 自动分割数据到不同的节点上.

  2. 整个集群的部分节点失败或者不可达的情况下能够继续处理命令.


二、Redis集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

  • 节点 A 包含 0 到 5500号哈希槽.

  • 节点 B 包含5501 到 11000 号哈希槽.

  • 节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我像移除节点A,需要将A中得槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可.

由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.


三、ruby的安装和搭建

  我们的环境还是以window为主,所以搭建按照当前的情况来。我的环境是windows 64位

  1、下载ruby

     RubyInstaller下载,这个根据自己系统来,我的是64位的,安装按照下一步来就好,如图:

  

此处全选,不用配置环境变量。

   2、安装RubyGems
     1)获取

       获取RubyGems,下载最新的rubygems,我当前版本rubygems-2.4.5.(有时候会被墙,多尝试几次)。

          安装完成,测试下安装是否成功。

?
1
ruby - v

       2)安装rubyGems:

       把下载文件解压,然后进入目录,执行:

?
1
2
3
ruby setup.rb  
...
gem - v

      3)更新gem的配置源     

           显示当前源:

?
1
gem sources

          添加淘宝的源

?
1
gem sources -a http: //ruby .taobao.org/

        更新source cache

?
1
gem sources -u

    3、安装redis依赖包
?
1
gem  install  redis


四、搭建redis集群

  1、更改配置(redis.conf)

   找到redis执行文件夹,找到redis.conf文件,我们选择最少选项的集群的配置文件

?
1
2
3
4
5
port 7001
cluster-enabled  yes
cluster-config- file  nodes.conf
cluster-node-timeout 5000
appendonly  yes

 cluster-enabled 选项用于开实例的集群模式, 而 cluster-conf-file 选项则设定了保存节点配置文件的路径, 默认值为 nodes.conf.节点配置文件无须人为修改, 它由 Redis 集群在启动时创建, 并在有需要时自动进行更新。

2、创建集群redis目录

  要让集群正常运作至少需要三个主节点,不过在刚开始试用集群功能时, 强烈建议使用六个节点: 其中三个为主节点, 而其余三个则是各个主节点的从节点。

   1)创建一个集群目录cluster,然后再创建6个以端口为名字的子目录。

      我使用的cygwin来创建的,命令如下(windows下可视图创建):

?
1
2
3
mkdir  cluster
cd  cluster
mkdir  7001 7002 7003 7004 7005 7006

    最终如图:

   

    2)启动6个redis服务

       在7001到7006文件夹中,把redis可执行文件(第一篇编译后的文件夹redis3.0)拷贝到每个目录,每个目录都需要有redis.conf文件,记得配置内容需要和第一步相同,同时把端口号,改为与文件夹名字相同

   没有windows下redis3.0执行文件的,点此下载。

     进入每个目录启动服务:  

?
1
2
3
cd  cluster
cd  7001
redis-server.exe redis.conf

     其他几个目录同上。

  3) 获取 redis-trib

        通过使用 Redis 集群命令行工具 redis-trib , 编写节点配置文件的工作可以非常容易地完成: redis-trib 位于       Redis 源码的 src 文件夹中, 它是一个 Ruby 程序, 这个程序通过向实例发送特殊命令来完成创建新集群, 检查集群,   或者对集群进行重新分片(reshared)等工作。

    点击下载

    记得把redis-trib.rb文件发到cluster目录下面。

  4)启动集群
?
1
2
cd  cluster
redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

   这个命令在这里用于创建一个新的集群, 选项--replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

   之后跟着的其他参数则是这个集群实例的地址列表,3个master3个slave

    redis-trib 会打印出一份预想中的配置给你看, 如果你觉得没问题的话, 就可以输入 yes , redis-trib 就会将这份配置应        用到集群当中,让各个节点开始互相通讯,最后可以得到如下信息:

?
1
[OK] All 16384 slots covered


五、测试

 测试 Redis 集群比较简单的办法就是使用 redis-rb-cluster 或者 redis-cli , 接下来我们将使用 redis-cli 为例来进行演示:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
cd  7002
redis-cli.exe -c -p 7002
redis 127.0.0.1:7002>  set  test  one
-> Redirected to slot [12182] located at 127.0.0.1:7002
OK
redis 127.0.0.1:7002>  set  hello world
-> Redirected to slot [866] located at 127.0.0.1:7003
OK
redis 127.0.0.1:7002> get  test
-> Redirected to slot [12182] located at 127.0.0.1:7002
"one"
redis 127.0.0.1:7002> get hello
-> Redirected to slot [866] located at 127.0.0.1:7003
"world"

edis-cli 对集群的支持是非常基本的, 所以它总是依靠 Redis 集群节点来将它转向(redirect)至正确的节点。我们可以看到储存和获取的时候,数据都不在一个服务器上的。


下一篇我们将讨论如何增加节点,移除节点,重新切片,以及如何使用redis-rb-cluster .

  做redis集群需要注意的几点是:

?
1
2
3
4
  1、Redis 集群目前处于Alpha测试阶段,不过能用,目前新浪和twiter有在用,不过他们的集群有自己的解决方案,这个自己去google下,twiter已经把他们的方案开源出来了。
  2、测试用例的时候,强烈建议使用六个节点: 其中三个为主节点, 而其余三个则是各个主节点的从节点。
  3、需要搭建ruby的环境
  4.集群规范详细:http: //www.redis.cn/topics/cluster-spec.html


一、Redis集群的介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集.

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令.

Redis 集群的优势:

  1. 自动分割数据到不同的节点上.

  2. 整个集群的部分节点失败或者不可达的情况下能够继续处理命令.


二、Redis集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

  • 节点 A 包含 0 到 5500号哈希槽.

  • 节点 B 包含5501 到 11000 号哈希槽.

  • 节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我像移除节点A,需要将A中得槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可.

由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.


三、ruby的安装和搭建

  我们的环境还是以window为主,所以搭建按照当前的情况来。我的环境是windows 64位

  1、下载ruby

     RubyInstaller下载,这个根据自己系统来,我的是64位的,安装按照下一步来就好,如图:

  

此处全选,不用配置环境变量。

   2、安装RubyGems
     1)获取

       获取RubyGems,下载最新的rubygems,我当前版本rubygems-2.4.5.(有时候会被墙,多尝试几次)。

          安装完成,测试下安装是否成功。

?
1
ruby - v

       2)安装rubyGems:

       把下载文件解压,然后进入目录,执行:

?
1
2
3
ruby setup.rb  
...
gem - v

      3)更新gem的配置源     

           显示当前源:

?
1
gem sources

          添加淘宝的源

?
1
gem sources -a http: //ruby .taobao.org/

        更新source cache

?
1
gem sources -u

    3、安装redis依赖包
?
1
gem  install  redis


四、搭建redis集群

  1、更改配置(redis.conf)

   找到redis执行文件夹,找到redis.conf文件,我们选择最少选项的集群的配置文件

?
1
2
3
4
5
port 7001
cluster-enabled  yes
cluster-config- file  nodes.conf
cluster-node-timeout 5000
appendonly  yes

 cluster-enabled 选项用于开实例的集群模式, 而 cluster-conf-file 选项则设定了保存节点配置文件的路径, 默认值为 nodes.conf.节点配置文件无须人为修改, 它由 Redis 集群在启动时创建, 并在有需要时自动进行更新。

2、创建集群redis目录

  要让集群正常运作至少需要三个主节点,不过在刚开始试用集群功能时, 强烈建议使用六个节点: 其中三个为主节点, 而其余三个则是各个主节点的从节点。

   1)创建一个集群目录cluster,然后再创建6个以端口为名字的子目录。

      我使用的cygwin来创建的,命令如下(windows下可视图创建):

?
1
2
3
mkdir  cluster
cd  cluster
mkdir  7001 7002 7003 7004 7005 7006

    最终如图:

   

    2)启动6个redis服务

       在7001到7006文件夹中,把redis可执行文件(第一篇编译后的文件夹redis3.0)拷贝到每个目录,每个目录都需要有redis.conf文件,记得配置内容需要和第一步相同,同时把端口号,改为与文件夹名字相同

   没有windows下redis3.0执行文件的,点此下载。

     进入每个目录启动服务:  

?
1
2
3
cd  cluster
cd  7001
redis-server.exe redis.conf

     其他几个目录同上。

  3) 获取 redis-trib

        通过使用 Redis 集群命令行工具 redis-trib , 编写节点配置文件的工作可以非常容易地完成: redis-trib 位于       Redis 源码的 src 文件夹中, 它是一个 Ruby 程序, 这个程序通过向实例发送特殊命令来完成创建新集群, 检查集群,   或者对集群进行重新分片(reshared)等工作。

    点击下载

    记得把redis-trib.rb文件发到cluster目录下面。

  4)启动集群
?
1
2
cd  cluster
redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

   这个命令在这里用于创建一个新的集群, 选项--replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

   之后跟着的其他参数则是这个集群实例的地址列表,3个master3个slave

    redis-trib 会打印出一份预想中的配置给你看, 如果你觉得没问题的话, 就可以输入 yes , redis-trib 就会将这份配置应        用到集群当中,让各个节点开始互相通讯,最后可以得到如下信息:

?
1
[OK] All 16384 slots covered


五、测试

 测试 Redis 集群比较简单的办法就是使用 redis-rb-cluster 或者 redis-cli , 接下来我们将使用 redis-cli 为例来进行演示:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
cd  7002
redis-cli.exe -c -p 7002
redis 127.0.0.1:7002>  set  test  one
-> Redirected to slot [12182] located at 127.0.0.1:7002
OK
redis 127.0.0.1:7002>  set  hello world
-> Redirected to slot [866] located at 127.0.0.1:7003
OK
redis 127.0.0.1:7002> get  test
-> Redirected to slot [12182] located at 127.0.0.1:7002
"one"
redis 127.0.0.1:7002> get hello
-> Redirected to slot [866] located at 127.0.0.1:7003
"world"

edis-cli 对集群的支持是非常基本的, 所以它总是依靠 Redis 集群节点来将它转向(redirect)至正确的节点。我们可以看到储存和获取的时候,数据都不在一个服务器上的。


下一篇我们将讨论如何增加节点,移除节点,重新切片,以及如何使用redis-rb-cluster .

### 构建 Windows 上的 Redis 集群 #### 准备工作 为了在 Windows 系统上成功搭建 Redis 集群,需先完成一些必要的准备。确保已安装适用于 WindowsRedis 版本以及 Ruby 环境用于运行 `redis-trib.rb` 脚本来创建集群[^1]。 #### 创建集群节点目录 为每个计划加入到集群中的实例建立独立的工作文件夹。这有助于区分不同节点的数据存储位置和其他配置参数设置。例如可以命名为 node_7000, node_7001...以此类推来表示不同的端口号。 #### 下载并安装 Ruby 由于官方推荐使用的工具 `redis-trib.rb` 是基于 Ruby 开发的语言编写而成,在此之前还需要单独下载对应版本的 Ruby 解释器程序,并按照指示说明完成整个软件包部署过程。 #### 修改配置文件 针对每一个新设立好的节点分别编辑其对应的 redis.conf 文件,主要调整如下几个选项: - 设置 bind 项为空白或者指定 IP 地址允许远程连接; - 关闭保护模式 protect-mode no; - 设定 port 值与当前节点相匹配; - cluster-enabled yes 表明开启集群功能支持; - 指定 cluster-config-file 和 cluster-node-timeout 参数值以适应实际需求场景下的性能表现优化考虑[^3]。 #### 使用命令行启动各个节点的服务进程 进入各自所属路径下通过 cmd 或者 powershell 执行启动指令如 `.\redis-server.exe .\redis.conf` 来激活相应服务监听状态。 #### 构建集群脚本 redis-trib.rb 并初始化集群拓扑关系 利用上述提到过的 ruby 工具配合特定语法格式化输入参数列表从而实现自动化批量操作目的;具体做法是在终端窗口里键入类似于下面这样的语句: ```bash ruby C:\path_to_redis\src\redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 ... ``` 这里假设总共存在六个成员参与构成最终形态完整的分布式架构体系结构,其中每三个一组互为主从备份关联形式存在。 #### 将 Redis 注册成为 windows 服务 (可选) 如果希望开机自启,则可以通过 NSSM (Non-Sucking Service Manager) 这样的第三方组件辅助达成目标效果。首先获取最新发行版压缩包解压至本地磁盘某处合适的位置之后参照官网指南逐步实施直至结束即可。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值