Redis 集群分片&分布式锁的使用

最新推荐文章于 2025-07-29 09:47:47 发布
转载 最新推荐文章于 2025-07-29 09:47:47 发布 · 311 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://juejin.im/post/5ba7514fe51d450e877f5825
文章标签：

#数据库 #python #java

前言

前段时间的一个项目Memcache缓存切换到Redis缓存，做了些Redis缓存方面的调研与学习，在学有所得的同时向大家分享些学到的干货。

为什么缓存技术选型最后选择了Redis呢，结合项目的实际情况由一下几点考量的

  • 缓存数据的持久化，由于Memcache数据储存在内充中，宕机或重启memcache服务后缓存数据丢失

  • 集群的高可用性，Memcache自身并没有实现集群功能，是通过客户端实现的。Redis集群在负债均衡，数据丢失容错处理都做得比前者要好。

（Memcache与Redis技术选型比较不是本文重点,如想详细了解可以搜索相关博文）

Redis集群分片

了解redis集群数据分片我们可以从以下这三个问题入手

  • redis集群中key是如何分布到各个节点？
  • 客户端如何正确找到key所在节点？
  • 键空间迁移过程是怎样的？

Redis集群有16384个哈希槽(hash slot),每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash slot。举个例子,比如当前集群有3个节点,那么:

  • 节点 A 包含 0 到 5500 hash solt.
  • 节点 B 包含5501 到 11000 hash solt.
  • 节点 C 包含11001 到 16384 hash slot.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

客户端在查找key的所在节点时也是通过CRC16校验后对16384取模。故此具体某个key存放在哪个hash sort是固定的。

Redis 分布式锁

Redis集群中自身没有实现分布式锁，但我们可以通过SET命令的特性实现分布式锁

以下是Java版本的实例

获取分布式锁的实现

释放分布式锁的实现

源码在这里

写在最后

学无止境，这段时间会陆续对前期的学习成果做些梳理并与大家分享，在给大家分享干货的同时，才疏学浅还望大家大刀予以斧正。也欢迎关注我的掘金或简书,名称为柴码

Golang Redis客户端实现分布式锁的完整解决方案
Golang编程笔记的博客
06-11 638
本文面向需要在分布式系统中实现资源互斥访问的开发者，覆盖从单节点Redis锁到多节点Redlock的完整解决方案，重点解决“如何安全实现分布式锁”“如何处理锁超时”“如何保证高可用”等核心问题。本文从“生活中的锁”类比切入，逐步讲解分布式锁的核心概念→单节点Redis锁实现→关键问题解决→多节点Redlock优化→实战案例→常见问题。全程结合Golang代码和Redis命令，确保可落地。互斥性：同一时间仅一个节点持有锁。锁超时：防止节点崩溃后锁永久占用。唯一标识：防止误删其他节点的锁。原子操作：通过。
Redis分布式锁
m0_67401606的博客
07-29 1184
多个客户端，通过watch一个键-值，然后开启事务如果在开启事务的期间，watch的值没有被其他客户端修改过，则执行成功如果在开启事务的期间，watch的值被其他客户端修改了，则执行失败setage10watchnameage#监控对应的属性multiexec。...
架构系列---集群环境下Redis分布式锁RedLock
FeelTouch Labs
02-23 793
在不同进程需要互斥地访问共享资源时，分布式锁是一种非常有用的技术手段。 有很多三方库和文章描述如何用Redis实现一个分布式锁管理器，但是这些库实现的方式差别很大，而且很多简单的实现其实只需采用稍微增加一点复杂的设计就可以获得更好的可靠性。 这篇文章的目的就是尝试提出一种官方权威的用Redis实现分布式锁管理器的算法，我们把这个算法称为RedLock。 Redlock是redis官方提出的实现分...
Redis分布式锁：从原理到实现，一篇搞懂
最新发布
2301_80017072的博客
07-29 1449
Redis分布式锁通过SET NX PX命令实现跨服务的互斥机制，核心原理是利用Redis键的唯一性保证互斥。文章详细解析了分布式锁的三个关键问题：1) 锁过期与续命机制解决任务执行时间长的问题；2) 使用Lua脚本保证释放锁的原子性；3) Redis集群下的锁丢失问题及Redlock解决方案。最后给出了Java实现的完整流程，包括获取锁、锁续命和释放锁的标准操作，为分布式系统提供可靠的并发控制方案。
springboot整合redisson分布式锁（redis集群模式）
YLZFK
08-10 1万+
1.maven引入redisson <dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.5.0</ve...
分布式锁Redisson详解（重点）
Java后端技术栈
12-25 8066
一、为什么需要分布式锁？ 在单体web应用的时候，如果多个线程要访问共享资源的时候，我们通常线程间加锁的机制，在某一个时刻，只有一个线程可以对这个资源进行操作，其他线程需要等待锁的释放，Java中也有一些处理锁的机制，比如synchronized。 而到了分布式的环境中，当某个资源可以被多个系统访问使用到的时候，为了保证大家访问这个数据是一致性的，那么就要求再同一个时刻，只能被一个系统使用，这时候线程之间的锁机制就无法起到作用了，因为分布式环境中，系统是会部署到不同的机器上面的，那么就需要【
【Redis】实战篇：分布式锁解决集群环境下的并发问题
小新的博客
10-31 2344
慢慢来，别着急
redis和zk分布式锁的区别
weixin_47713590的博客
02-10 986
Redis 在性能、实现复杂度、功能特性和扩展性等方面均优于 Zookeeper 作为分布式锁的选择。特别是对于需要高并发、低延迟的应用场景（如电商秒杀、抢购等），Redis 是更好的选择。然而，在某些特定场景下（如需要复杂的分布式协调功能），Zookeeper 仍然有其独特的优势。因此，在选择分布式锁方案时，应根据具体业务需求和技术栈进行权衡。
Redis集群演变过程&集群部署1
08-03
Redis集群不再依赖哨兵，而是通过分片（Sharding）技术实现了数据的分布式存储，同时提供了复制和高可用性。在集群中，数据被分散到多个主节点，每个主节点都有对应的从节点，这样既实现了负载均衡，又增强了容错...
Redis 集群与分布式实现：从原理到实战
weixin_42593797的博客
05-11 996
在大数据与高并发场景下，单节点 Redis 的容量与可用性已无法满足需求。Redis 通过集群与分布式技术，实现了数据的分片存储与高可用部署，成为分布式系统的核心组件。本文将深入解析 Redis 集群的底层原理、架构模式与实战经验，结合代码示例与最佳实践，帮助开发者构建高性能、高可用的分布式缓存系统。Redis 集群与分布式技术为大数据与高并发场景提供了强大支持。通过合理选择部署模式（主从、哨兵、集群）、优化客户端配置、实现分布式锁与事务，可以构建高性能、高可用的分布式系统。
Redis分布式锁详解及电商秒杀功能示例
八戒的博客
06-16 3098
Redis分布式锁是一种在分布式系统中，利用Redis的原子操作特性实现的锁机制，用于保护共享资源的并发访问。
Zookeeper和Redis实现分布式锁的可靠性分析
贝吉塔的博客
07-21 618
Zookeeper和Redis实现分布式锁的可靠性分析 在分布式系统中，为保证同一时间只有一个客户端可以对共享资源进行操作，需要对共享资源加锁来实现，常见有三种方式： 基于数据库实现分布式锁 基于 Redis 实现分布式锁 基于 Zookeeper 实现分布式锁 高并发下数据库锁性能太差，本文不做探究。仅针对Redis 和 Zookeeper 实现的分布式锁进行分析。 实现一个分布式锁应该具备的特性： 高可用、高性能的获取锁与释放锁 在分布式系统环境下，一个方法或者变量同一时间只能被一个线程操
redis分布式锁和集群
jiegouyihao的专栏
02-26 1221
目前的I/O多路复用都是采用的epoll模式实现，它会在通知用户进程Socket就绪的同时，把已就绪的Socket写入用户空间，不需要挨个遍历Socket来判断是否就绪，提升了性能。Redis 分片集群引入了哈希槽的概念，Redis 集群有 16384 个哈希槽，每个 key通过 CRC16 校验后对 16384 取模来决定放置哪个槽，集群的每个节点负责一部分 hash 槽。单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。
Redis集群及分布式锁
java123456111的博客
06-22 2114
1、进入/root/myredis文件目录 2、进入redis6378.conf，并添加一下内容 3、复制配置文件 4、修改配置文件批量修改命令 5、启动上面配置的六台redis服务 6、将六个节点合成一个集群组合之前，请确保所有redis实例启动后，node-xxxx.conf文件都生成正常。 7、Redis报错：-bash redis-cli command not found sudo cp src/redis-cli /usr/local/bin/8、执行下面的命令 9、连接redis集群 10、通
Redis实现分布式锁详解
weixin_43811057的博客
06-15 4386
分布式锁满足分布式系统或集群模式下多进程可见并且互斥的锁。分布式锁的核心思想就是让大家都使用同一把锁，只要大家使用的是同一把锁，那么我们就能锁住线程，不让线程进行，让程序串行执行，这就是分布式锁的核心思路可见性：多个线程都能看到相同的结果，注意：这个地方说的可见性并不是并发编程中指的内存可见 性，只是说多个进程之间都能感知到变化的意思互斥：互斥是分布式锁的最基本的条件，使得程序串行执行高可用：程序不易崩溃，时时刻刻都保证较高的可用性高性能。
什么是分布式锁？几种分布式锁分别是怎么实现的？
热门推荐
m0_67645544的博客
05-14 6万+
一、什么是分布式锁： 1、什么是分布式锁： 分布式锁，即分布式系统中的锁。在单体应用中我们通过锁解决的是控制共享资源访问的问题，而分布式锁，就是解决了分布式系统中控制共享资源访问的问题。与单体应用不同的是，分布式系统中竞争共享资源的最小粒度从线程升级成了进程。 2、分布式锁应该具备哪些条件： 在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行 高可用的获取锁与释放锁 高性能的获取锁与释放锁 具备可重入特性（可理解为重新进入，由多于一个任务并发使用，而不必担心数据错误） ...
分布式互斥锁优化数据库压力：从基础到高级优化
heromps的博客
08-22 1397
以及分布式锁分片策略，分别适用于不同的高并发场景。在实际应用中，根据具体需求和系统特点，灵活调整锁机制，是确保高并发系统稳定运行的关键。在极端高并发场景中，大量请求同时获取分布式锁，仍可能导致不必要的数据库访问。为了解决这一问题，分布式锁可以控制同一时间只有一个请求可以访问数据库，其他请求则等待锁的释放。通过将锁按一定规则进行分片（如按用户ID取模），多个线程可以同时操作不同的分片，从而大幅提升系统的并发处理能力。这一基础方案虽然简单，但已经能够大幅降低数据库的并发访问量，避免系统在高并发场景下的崩溃。
redis 集群、分布式锁
weixin_35821291的博客
02-24 2051
1. redis 主从同步 数据可以从主服务器向任意数量的从服务器上同步 全量复制：Redis全量复制一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份 完成上面几个步骤后就完成了从服务器数据初始化的所有操作，从服务器此时可以接收来自用户的读请求。 增量复制： 配置：只要在从节点里面配置上Master节点的ip地址。那么当从节点进行restart的时候 .会自动发起主从同步 2. sentien「哨兵」模式 Redis的主从复制..
Redis 分布式锁详解（七种实现方式）
new_baibai的博客
05-19 1万+
Redis 分布式锁七种实现方式
redis集群，缓存分布式锁面试题
06-10
### Redis 集群与分布式缓存锁相关面试题 以下是关于 Redis 集群和分布式缓存锁的常见面试问题，涵盖理论知识、实际应用以及潜在问题解决方法。 --- #### 1. Redis 集群的工作原理是什么？ Redis 集群采用无中心结构，每个节点保存数据和整个集群状态，每个节点都与其他所有节点连接。集群预分好 16384 个槽位，当需要在 Redis 集群中放置一个 key-value 对时，根据 key 的哈希算法与槽位取模，然后确定放置在哪个槽位[^2]。 --- #### 2. Redis 集群在网络分区时如何保证可用性？ 根据 CAP 理论，Redis 集群更倾向于 AP（Available and Partition-tolerant）模型。这意味着在网络分割的情况下，Redis 集群始终能够响应请求（尽管可能不保证最终一致性）。分区容忍性确保 Redis 在节点之间的网络分区时仍能保持运行并处理数据的读写请求[^1]。 --- #### 3. Redis 分布式锁的基本实现方式有哪些？ Redis 分布式锁可以通过 `SETNX` 命令实现。该命令尝试设置一个键值对，如果键不存在则成功返回 1，否则返回 0。业务代码执行完成后通过 `DEL` 命令释放锁。此外，Redisson 是一种基于 Redis 实现的 Java 驻内存数据网格，提供了多种分布式锁的实现，包括可重入锁[^4]。 --- #### 4. 分布式锁可能存在哪些问题？如何解决？ 分布式锁可能存在的问题及解决方案如下： - **超时问题**：业务代码执行时间超过锁时间可能导致锁提前释放。解决方案是使用 WatchDog 机制动态延长锁的有效期。 - **主从一致性问题**：主机将数据异步同步给从机时，若主机宕机可能导致死锁。解决方案是使用 Redisson 等工具，提供更可靠的锁实现。 - **不可重入问题**：获得锁的线程无法再次进入相同的锁代码块。解决方案是使用可重入锁，如 Redisson 提供的实现[^4]。 --- #### 5. 如何避免缓存穿透、击穿和雪崩？ - **缓存穿透**：查询的数据在数据库和缓存中均不存在，导致大量请求直接访问数据库。解决方案包括在缓存中存储空对象或使用布隆过滤器[^3]。 - **缓存击穿**：热点数据过期瞬间，大量请求同时访问数据库。解决方案是为热点数据设置永不过期或加互斥锁。 - **缓存雪崩**：大量数据在同一时刻过期，导致数据库压力过大。解决方案包括上线前预热数据、分散过期时间和使用集群[^3]。 --- #### 6. Redis 持久化的方式有哪些？各自的特点是什么？ Redis 持久化有以下两种方式： - **RDB（Redis Database Backup）**：快照方式，在指定的时间间隔内将内存中的数据集快照写入磁盘。特点是性能高，但可能会丢失最后一次快照后的数据。 - **AOF（Append Only File）**：记录服务器执行的所有写操作命令，重启时重新执行这些命令恢复数据。特点是数据完整性更高，但文件较大且恢复速度较慢。 --- #### 7. Redis 支持的数据类型有哪些？它们的应用场景是什么？ Redis 支持以下数据类型及其应用场景： - **String**：用于存储简单的键值对，支持递增递减操作。 - **Hash**：适用于存储对象属性，如用户信息。 - **List**：适用于消息队列、最新 N 条数据等场景。 - **Set**：适用于去重、好友推荐等场景。 - **ZSet（Sorted Set）**：适用于排行榜、优先级队列等场景。 --- #### 8. Redis 单线程模型为什么性能如此高效？ Redis 的单线程模型基于事件驱动和 I/O 多路复用技术，充分利用了内存操作的优势。CPU 不是 Redis 的瓶颈，瓶颈最有可能是机器内存大小和网络带宽。因此，单线程模型不仅易于实现，还能避免多线程带来的上下文切换开销。 --- #### 9. Redis 集群模式下如何进行数据分片？ Redis 集群模式下通过哈希槽机制进行数据分片。集群预分配 16384 个槽位，每个 key 根据哈希算法映射到某个槽位，槽位再分配到具体的节点上。官方推荐使用三主三从的架构以提高容错能力。 --- #### 10. Redis 分布式锁的优化方案有哪些？ Redis 分布式锁的优化方案包括： - 使用 Redisson 提供的高级锁功能，如可重入锁、公平锁等。 - 引入 WatchDog 机制动态延长锁的有效期，避免因业务执行时间过长而导致锁提前释放。 - 设置合理的锁超时时间，防止死锁发生[^4]。 --- ```python # 示例代码：使用 Redis 实现分布式锁 import redis client = redis.StrictRedis(host='localhost', port=6379, db=0) def acquire_lock(lock_name, acquire_timeout=10): identifier = str(uuid.uuid4()) end = time.time() + acquire_timeout while time.time() < end: if client.setnx(lock_name, identifier): return identifier time.sleep(0.001) return False def release_lock(lock_name, identifier): with client.pipeline() as pipe: while True: try: pipe.watch(lock_name) if pipe.get(lock_name) == identifier: pipe.multi() pipe.delete(lock_name) pipe.execute() return True pipe.unwatch() break except redis.WatchError: pass return False ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值