Redis集群与多API支持介绍

最新推荐文章于 2021-10-18 15:54:34 发布

一个憨豆

最新推荐文章于 2021-10-18 15:54:34 发布

阅读量314

点赞数

分类专栏： NoSQL 文章标签： redis nosql

本文链接：https://blog.youkuaiyun.com/weixin_52636854/article/details/116030658

版权

NoSQL 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了Redis集群的搭建过程，包括配置文件、节点创建、槽位分配以及高可用性。此外，还展示了如何使用Python进行Redis的单实例连接、Sentinel集群连接以及RedisCluster的读写操作，讲解了Python环境下安装Redis驱动和客户端的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Redis集群与多API支持

一、Redis集群 — redis cluster

画图说明

在这里插入图片描述

1.Redis集群介绍

key:value分成三份
均匀的分布到slot中
一套集群中，slot总共16384个，平均分配在各个分片节点上，slot编号：0-16383

1）高性能

1、在多分片节点中，将16384个槽位，均匀分布到多个分片节点中
2、存数据时，将key做crc16(key),然后和16384进行取模，得出槽位值（0-16383之间）
3、根据计算得出的槽位值，找到相对应的分片节点的主节点，存储到相应槽位上
4、如果客户端当时连接的节点不是将来要存储的分片节点，分片集群会将客户端连接切换至真正存储节点进行数据存储

2）高可用

在搭建集群时，会为每一个分片的主节点，对应一个从节点，实现slaveof的功能，同时当主节点down，实现类似于sentinel的自动failover的功能。

1、redis会有多组分片构成（3组）
2、redis cluster 使用固定个数的slot存储数据（一共16384slot）
3、每组分片分得1/3 slot个数（0-5500  5501-11000  11001-16383）
4、基于CRC16(key) % 16384 ====》值 （槽位号）。

2.Redis集群规划、搭建过程：

6个redis实例，一般会放到3台硬件服务器
注：在企业规划中，一个分片的两个分到不同的物理机，防止硬件主机宕机造成的整个分片数据丢失。
端口号：7000-7005

1）安装集群插件

EPEL源安装ruby支持
yum install ruby rubygems -y
使用国内源
gem sources -l
gem sources -a http://mirrors.aliyun.com/rubygems/ 
gem sources  --remove https://rubygems.org/
gem sources -l
gem install redis -v 3.3.3

2）集群节点准备

mkdir /data/700{0..5}
cat > /data/7000/redis.conf <<EOF
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >> /data/7001/redis.conf <<EOF
port 7001
daemonize yes
pidfile /data/7001/redis.pid
loglevel notice
logfile "/data/7001/redis.log"
dbfilename dump.rdb
dir /data/7001
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >> /data/7002/redis.conf <<EOF
port 7002
daemonize yes
pidfile /data/7002/redis.pid
loglevel notice
logfile "/data/7002/redis.log"
dbfilename dump.rdb
dir /data/7002
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF


cat >>  /data/7003/redis.conf <<EOF
port 7003
daemonize yes
pidfile /data/7003/redis.pid
loglevel notice
logfile "/data/7003/redis.log"
dbfilename dump.rdb
dir /data/7003
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF


cat >> /data/7004/redis.conf <<EOF
port 7004
daemonize yes
pidfile /data/7004/redis.pid
loglevel notice
logfile "/data/7004/redis.log"
dbfilename dump.rdb
dir /data/7004
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >> /data/7005/redis.conf <<EOF
port 7005
daemonize yes
pidfile /data/7005/redis.pid
loglevel notice
logfile "/data/7005/redis.log"
dbfilename dump.rdb
dir /data/7005
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

3）启动节点：

redis-server /data/7000/redis.conf 
redis-server /data/7001/redis.conf 
redis-server /data/7002/redis.conf 
redis-server /data/7003/redis.conf 
redis-server /data/7004/redis.conf 
redis-server /data/7005/redis.conf 
[root@db01 ~]# ps -ef |grep redis
root       8854      1  0 03:56 ?        00:00:00 redis-server *:7000 [cluster]     
root       8858      1  0 03:56 ?        00:00:00 redis-server *:7001 [cluster]     
root       8860      1  0 03:56 ?        00:00:00 redis-server *:7002 [cluster]     
root       8864      1  0 03:56 ?        00:00:00 redis-server *:7003 [cluster]     
root       8866      1  0 03:56 ?        00:00:00 redis-server *:7004 [cluster]     
root       8874      1  0 03:56 ?        00:00:00 redis-server *:7005 [cluster]

4）将节点加入集群管理

redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

注意：0,1,2是主节点，3，4,5是对应的从节点
主从节点不能是在同一台物理机的

5）集群状态查看

--集群主节点状态
redis-cli -p 7000 cluster nodes | grep master

--集群从节点状态
redis-cli -p 7000 cluster nodes | grep slave

3. 集群节点管理

1）增加新的节点

mkdir /data/7006
mkdir /data/7007
cat > /data/7006/redis.conf <<EOF
port 7006
daemonize yes
pidfile /data/7006/redis.pid
loglevel notice
logfile "/data/7006/redis.log"
dbfilename dump.rdb
dir /data/7006
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >  /data/7007/redis.conf <<EOF
port 7007
daemonize yes
pidfile /data/7007/redis.pid
loglevel notice
logfile "/data/7007/redis.log"
dbfilename dump.rdb
dir /data/7007
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

redis-server /data/7006/redis.conf 
redis-server /data/7007/redis.conf

2）添加主节点：

redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000

3）转移slot（重新分片）

redis-trib.rb reshard 127.0.0.1:7000

在这里插入图片描述

4）添加一个从节点

redis-trib.rb add-node --slave --master-id 8ff9ef5b78e6da62bd7b362e1fe190cba19ef5ae 127.0.0.1:7007 127.0.0.1:7000

在这里插入图片描述

4.删除节点

1）将需要删除节点slot移动走

redis-trib.rb reshard 127.0.0.1:7000
49257f251824dd815bc7f31e1118b670365e861a 
127.0.0.1:7006
0-1364 5461-6826 10923-12287
1365      1366     1365

在这里插入图片描述

2）删除一个节点

删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点
redis-trib.rb del-node 127.0.0.1:7006 8ff9ef5b78e6da62bd7b362e1fe190cba19ef5ae


---------------------
设置redis最大内存
config set maxmemory 102400000
---------------------

二、redis的多API支持—以python为例

1.安装python

yum install -y python36 
python3 -V
yum install -y python36-pip

pip3 install redis 
pip3 install redis-py-cluster

1）源码安装

https://redis.io/clients
下载redis-py-master.zip

安装驱动

unzip redis-py-master.zip
cd redis-py-master
python3 setup.py install

redis cluster的连接并操作（python2.7.2以上版本才支持redis cluster，我们选择的是3.6）
https://github.com/Grokzen/redis-py-cluster

安装redis-cluser的客户端程序

cd redis-py-cluster-unstable
python3 setup.py install

2.对redis的单实例进行连接操作

redis-server /data/6379/redis.conf 

python3
>>>import redis
>>>r = redis.StrictRedis(host='10.0.0.51', port=6379, db=0,password='123456')
>>>r.set('hhh', 'coco')
>>>r.get('hhh')

3.sentinel集群连接并操作

redis-server /data/6380/redis.conf
redis-server /data/6381/redis.conf
redis-server /data/6382/redis.conf 
redis-sentinel /data/26380/sentinel.conf &

1）导入redis sentinel包

from redis.sentinel import Sentinel

2）指定sentinel的地址和端口号

sentinel = Sentinel([('localhost', 26380)], socket_timeout=0.1)

3）测试，获取以下主库和从库的信息

sentinel.discover_master('mymaster')  
sentinel.discover_slaves('mymaster')

4.配置读写分离

1）写节点

master = sentinel.master_for('mymaster', socket_timeout=0.1,password="123")

2）读节点

>>> slave = sentinel.slave_for('mymaster', socket_timeout=0.1,password="123")

3读写分离测试 key

master.set('hhh', '123')  
slave.get('hhh')

5.python连接rediscluster集群测试

1）使用

python3
>>> from rediscluster import StrictRedisCluster  
>>> startup_nodes = [{"host":"127.0.0.1", "port": "7000"},{"host":"127.0.0.1", "port": "7001"},{"host":"127.0.0.1", "port": "7002"}]  
### Note: decode_responses must be set to True when used with python3  
>>> rc = StrictRedisCluster(startup_nodes=startup_nodes, decode_responses=True)  
>>> rc.set("foo", "bar")  
True  
>>> print(rc.get("foo"))  
'bar'
```**

--驱动版本不一样的时候
from rediscluster import RedisCluster