集群相关概念
Redis集群介绍
Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。
Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误。
Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令。
Redis 集群的优势:
Redis分片策略
Redis 集群没有使用一致性hash,而是引入了 哈希槽的概念。
Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽。集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:
这种结构很容易添加或者删除节点。 比如如果我想新添加个节点D,我需要从节点 A, B, C中得部分槽到D上。如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可。由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态。
Redis的主从复制模型
为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品。
在我们例子中具有A,B,C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-11000这个范围的槽而不可用。
然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1,B1,C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了。不过当B和B1 都失败后,集群是不可用的。
Redis集群搭建
集群的结构
根据官网描述要让redis集群环境正常运行我们必须准备至少3个主节点,所以在本文中的集群环境我们准备3个主节点实例及对应的给每个主节点准备一个从节点实例,一共6个redis实例。正常需要6个虚拟机节点,本文我们在一个虚拟机上模拟。
集群的环境准备
搭建集群需要使用到官方提供的ruby脚本。
需要安装ruby的环境。
安装ruby
yum -y install rubygems
错误处理参考Ruby版本升级问题解决
解决完成后再次执行gem install redis命令
注意ruby对应的redis版本是4.1.2
搭建集群环境
创建实例
在/opt目录下创建redis-cluster目录,并在该目录下创建6个redis实例
修改配置文件
修改端口号
打开cluster-enable前面的注释
注释掉绑定ip
保护模式修改为no
设置日志存储路径
重复修改六个
启动六个实例
创建集群
现在我们已经有了六个正在运行中的 Redis 实例, 接下来我们需要使用这些实例来创建集群, 并为每个节点编写配置文件。
通过使用 Redis 集群命令行工具 redis-trib , 编写节点配置文件的工作可以非常容易地完成: redis-trib 位于 Redis 源码的 src 文件夹中, 它是一个 Ruby 程序, 这个程序通过向实例发送特殊命令来完成创建新集群, 检查集群, 或者对集群进行重新分片(reshared)等工作
./redis-trib.rb create --replicas 1 192.168.192.171:7001 192.168.192.171:7002 192.168.192.171:7003 192.168.192.171:7004 192.168.192.171:7005 192.168.192.171:7006