Redis-py集群模式深度解析：从基础使用到高级特性

最新推荐文章于 2025-06-03 09:03:03 发布

骆宜鸣King

最新推荐文章于 2025-06-03 09:03:03 发布

阅读量221

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00146/article/details/148392289

Redis-py集群模式深度解析：从基础使用到高级特性

redis-py Redis Python Client 项目地址: https://gitcode.com/gh_mirrors/re/redis-py

1. Redis集群模式概述

Redis-py作为Redis官方推荐的Python客户端，现已全面支持Redis集群模式。Redis集群是一种分布式数据库解决方案，通过数据分片(Sharding)实现水平扩展，支持自动故障转移和高可用性。

在Redis集群中，数据被分散存储在多个节点上，每个节点负责处理一部分哈希槽(共16384个槽)。Redis-py集群客户端能够自动发现集群拓扑结构，并将命令路由到正确的节点执行。

2. 连接Redis集群

Redis-py提供了多种连接集群的方式，开发者可以根据实际场景选择最合适的连接方法。

2.1 基础连接方式

from redis.cluster import RedisCluster as Redis

# 方式1：使用host和port参数
rc = Redis(host='localhost', port=6379)

# 方式2：使用Redis URL连接
rc = Redis.from_url("redis://localhost:6379/0")

2.2 高级连接方式

对于更复杂的场景，可以直接指定集群节点：

from redis.cluster import RedisCluster as Redis
from redis.cluster import ClusterNode

# 明确指定集群节点
nodes = [
    ClusterNode('localhost', 6379),
    ClusterNode('localhost', 6378)
]
rc = Redis(startup_nodes=nodes)

连接建立后，Redis-py会自动完成以下初始化工作：

构建槽位缓存：映射16384个槽到对应节点
构建节点缓存：存储所有集群节点的信息
构建命令缓存：存储服务器支持的所有命令

3. 命令执行与目标节点选择

3.1 键命令自动路由

对于基于键的命令，Redis-py会自动计算键的哈希槽并将其路由到正确的节点：

rc.set('foo1', 'bar1')  # 自动路由到负责'foo1'的节点
rc.get('foo1')          # 同样路由到负责'foo1'的节点

3.2 非键命令的目标节点指定

对于非键命令或集群管理命令，可以通过target_nodes参数指定目标节点：

# 内置节点选择标志
from redis.cluster import RedisCluster as Redis

# 在所有节点上执行命令
rc.cluster_meet('127.0.0.1', 6379, target_nodes=Redis.ALL_NODES)

# 在所有副本节点上执行ping
rc.ping(target_nodes=Redis.REPLICAS)

# 在随机节点上执行ping
rc.ping(target_nodes=Redis.RANDOM)

3.3 直接指定节点

也可以直接指定具体的节点对象：

# 获取特定节点
node = rc.get_node('localhost', 6379)

# 在该节点上执行命令
rc.keys(target_nodes=node)

4. 多键命令处理

Redis集群支持多键命令，但要求所有键必须属于同一个哈希槽。

4.1 原子性多键操作

# 使用哈希标签确保键在同一个槽
rc.mset({'{foo}1': 'bar1', '{foo}2': 'bar2'})
rc.mget('{foo}1', '{foo}2')

4.2 非原子性多键操作

对于不满足同槽要求的场景，可以使用非原子操作：

rc.mset_nonatomic({'foo': 'value1', 'bar': 'value2', 'zzz': 'value3'})
rc.mget_nonatomic('foo', 'bar', 'zzz')

非原子操作会将命令按槽分组，分别发送到不同节点执行。

5. 发布订阅模式

Redis集群支持发布订阅，但有特殊注意事项：

# 自动选择节点(基于频道名的哈希槽)
p1 = rc.pubsub()
p1.subscribe('foo')

# 显式指定节点
p2 = rc.pubsub(rc.get_node('localhost', 6379))

重要限制：模式订阅(pubsub pattern)在集群模式下工作不正常，因为无法预先确定所有匹配频道的槽位分布。

6. 只读模式与负载均衡

Redis集群默认不允许在副本节点执行读操作，但可通过只读模式改变这一行为。

6.1 启用只读模式

# 创建时启用只读模式(轮询分配读请求)
rc_readonly = Redis(startup_nodes=startup_nodes,
                   read_from_replicas=True)

# 运行时切换模式
rc_readonly.readonly(target_nodes='replicas')  # 启用只读
rc_readonly.readwrite(target_nodes='replicas') # 恢复读写

6.2 自定义负载均衡策略

除了内置的轮询策略，还可以实现自定义的负载均衡策略：

def custom_load_balancing(nodes):
    # 自定义节点选择逻辑
    return selected_node

rc_custom = Redis(startup_nodes=startup_nodes,
                 load_balancing_strategy=custom_load_balancing)