文章目录
一、主从复制+哨兵模式(Sentinel)
架构图
核心流程详解
-
数据写入流程
- 客户端向主节点发起写操作(如
SET key value
),主节点本地执行后返回ACK。 - 主节点通过异步复制将写命令追加至复制缓冲区(repl_backlog),从节点定期拉取增量数据(默认每秒)。
- 客户端向主节点发起写操作(如
-
全量同步
- 从节点首次连接主节点时,主节点执行
BGSAVE
生成RDB快照并传输,同时记录复制偏移量(offset)。 - 从节点加载RDB后,主节点继续发送复制缓冲区中的增量命令。
- 从节点首次连接主节点时,主节点执行
-
哨兵故障转移流程
主节点宕机处理流程
关键机制:
- 主观下线(SDOWN):单个哨兵检测到主节点超时(默认30秒)。
- 客观下线(ODOWN):超过半数哨兵确认主节点失效(
quorum
配置)。 - 选举新主节点:
- 优先级规则:
replica-priority
配置 > 复制偏移量 > 运行ID字典序。 - 数据安全:仅选择与旧主节点同步差距(
min-slaves-max-lag
)在10秒内的从节点。
- 优先级规则:
从节点宕机的影响与处理
- 影响范围:
- 读请求负载均衡能力下降,剩余从节点压力增大。
- 主节点复制缓冲区(
repl_backlog
)未被消费可能导致全量同步。
- 哨兵处理逻辑:
- 哨兵仅监控从节点状态,但不会触发故障转移(从节点无选举资格)。
- 从节点恢复后自动重新连接主节点,触发全量或增量同步。
二、Redis Cluster分片集群
架构图
核心原理
-
数据分片与路由
- 每个键通过
CRC16(key) % 16384
计算哈希槽,客户端直连任意节点,若槽不归属则返回MOVED
重定向。 - 智能客户端缓存槽映射表,减少重定向次数。
- 每个键通过
-
扩容与数据迁移
- 新节点加入后,通过
CLUSTER ADDSLOTS
分配槽位,使用MIGRATE
命令迁移数据,期间客户端可能收到ASK
临时重定向。
- 新节点加入后,通过
-
故障恢复
优势与限制
- 水平扩展:支持TB级数据,读写性能线性提升。
- 命令限制:跨槽命令(如
MGET
多键)需使用Hash Tag
强制路由。
三、异地多活架构设计
架构图
核心流程详解
-
数据同步:
- 增量日志捕获:同步组件监听地域A主集群的AOF日志或
repl_backlog
,提取变更命令。 - 回环过滤:在命令头部添加源地域标识(如
[FROM_REGION_A]
),避免地域B将数据同步回地域A。 - 异步传输:通过消息队列(如Kafka)或专用通道(如VPN)跨地域传输。
- 增量日志捕获:同步组件监听地域A主集群的AOF日志或
-
冲突解决策略:
- 时间戳优先(LWW):
if RegionA.timestamp > RegionB.timestamp: keep RegionA.data else: keep RegionB.data
- 业务语义合并:
- 计数器类型:
Redis INCR
命令可自动合并(CRDT兼容)。 - 集合类型:使用
SUNION
合并,需业务层去重。
- 计数器类型:
- 时间戳优先(LWW):
跨地域故障切换流程
关键设计:
- 半自动切换:需人工确认防止误操作,切换后需重置同步组件状态。
- 数据一致性校验:使用
redis-check-aof
工具比对两地AOF文件差异。
腾讯云异地多活实践
-
单元化架构:
- 用户组按ID哈希固定访问地域,90%流量本地处理,减少跨地域延迟。
- 元数据(如用户-地域映射表)全局强一致,业务数据最终一致。
四、性能优化实践
1. 读写分离代理层
- 阿里云方案:链式复制(主→从1→从2),减少主节点带宽压力。
2. 内存与IO优化
- 数据结构优化:小数据用ziplist,大数据用hashtable,避免BigKey(单Key>10KB)。
- 持久化调优:
- 混合模式(RDB+AOF):
aof-use-rdb-preamble yes
- 异步刷盘:
no-appendfsync-on-rewrite yes
。
- 混合模式(RDB+AOF):
3. 慢查询治理
- 监控:
SLOWLOG get
查看耗时操作,latency-monitor
追踪基线延迟。 - 规避全量命令:用
SCAN
替代KEYS
,HSCAN
替代HGETALL
。
五、架构选型对比
场景 | 推荐方案 | 核心优势 | 适用规模 |
---|---|---|---|
中小规模、高可用 | 主从+哨兵 | 部署简单,自动故障转移 | <10万QPS |
海量数据、高并发 | Redis Cluster | 水平扩展,数据分片 | 百万级QPS |
跨地域容灾 | 异地多活+同步组件 | 低延迟访问,容灾无缝切换 | 全球化业务 |
金融级强一致性 | 同城双活+min-slaves配置 | 数据零丢失,RPO=0 | 交易系统 |
六、总结
Redis的高可用高性能需根据业务场景灵活组合方案:
- 主从+哨兵适合快速搭建容灾,但需注意脑裂风险(配置
min-slaves-to-write
)。 - Cluster分片需预分片设计,避免后期数据迁移成本。
- 异地多活依赖旁路同步组件与CRDT,保证最终一致性。