我们公司使用了 6 年的分布式锁，很是牛逼啊

最新推荐文章于 2024-04-11 14:03:43 发布
转载 最新推荐文章于 2024-04-11 14:03:43 发布 · 166 阅读 · 0

本文深入探讨了基于Redis实现的分布式锁的加锁和释放锁过程，分析了其设计思路与潜在问题，并讨论了续期和高可用性的解决方案。

点击“开发者技术前线”，选择“星标?”

13：21 在看|星标|留言,  真爱

640?wx_fmt=jpeg

转自：踩刀诗人

www.cnblogs.com/chopper-poet/p/10802242.html

前言

提到数据一致性、操作原子性，诸如此类的一些与并发有关的词汇时不知道你第一时间会联想到什么呢？我相信大多数人可能会想到“锁”，为什么是锁呢，这个我不多说，大家心里应该都明白。在单体应用时代，我们使用jvm提供的锁就可以很好的工作，但是到了分布式应用时代，jvm提供的锁就行不通了，那么势必要借助一些跨jvm的临界资源来支持锁的相关语义，比如redis，zookeeper等。

步入正题

我今天就来分享下我司基于redis来实现的分布式锁，2013年投入使用，也算是久经沙场。但是也存在一些设计上的缺陷，这个我后面也会提到，希望大家秉着互相学习的态度文明交流，别一上来就说这不行那不行，还是那句话“适合自己的才是最好的”。

加锁过程分析

640?wx_fmt=jpeg

我第一次读代码的时候，有这么几个疑惑：

Q1：为什么不使用 SET key value [expiration EX seconds|PX milliseconds] [NX|XX]  这个指令来实现key的自动过期呢，反而放到应用代码判断key是否过期？

A1：我们的分布式锁开发的时候SET命令还不支持NX、PX，所以才想出这种办法来实现key过期，NX、PX在2.6.12以后开始支持；

Q2：已经判断了当前key对应的时间戳已经过期了，为什么还要使用getset再获取一次呢，直接使用set指令覆盖不可以吗？

A2：这里其实牵扯到并发的一些事情，如果直接使用set，那有可能多个客户端会同时获取到锁，如果使用getset然后判断旧值是否过期就不会有这个问题，设想一下如下场景：

  1. C1加锁成功，不巧的是，这时C1意外的奔溃了，自然就不会释放锁；

  2. C2，C3尝试加锁，这时key已存在，所以C2，C3去判断key是否已过期，这里假设key已经过期了，所以C2，C3使用set指令去设置值，那两个都会加锁成功，这就闯大祸了；如果使用getset指令，然后判断下返回值是否过期就可以避免这种问题，假如C2跑的快，那C3判断返回的时间戳已经过期，自然就加锁失败；

释放锁过程分析

640?wx_fmt=jpeg

Q1：为什么释放锁时还需要判断key是否过期呢，直接del不是性能更高吗？

A1：考虑这样一种场景：

  1. C1获取锁成功，开始执行自己的操作，不幸的是C1这时被阻塞了；

  2. C2这时来获取锁，由于C1被阻塞了很长时间，所以key对应的value已经过期了，这时C2通过getset加锁成功；

  3. C1尘封了太久终于被再次唤醒，对于释放锁这件事它可是认真的，伴随着一波del操作，悲剧即将发生；

  4. C3来获取锁，好家伙，居然一下就成功了，接着就是一波操作猛如虎，接着就是一堆的客诉过来了；

为什么会这样呢？回想C1被唤醒以后的事情，居然敢直接del，C2活都没干完呢，锁就被C1给释放了，这时C3来直接就加锁成功，所以为了安全起见C3释放锁时得分成两步：1.判断value是否已经过期 2.如果已过期直接忽略，如果没过期就执行del。这样就真的安全了吗？安全了吗？安全了吗？假如第一步和第二步之间相隔了很久是不是也会出现锁被其他人释放的问题呢？是吧？是的！有没有别的解决办法呢？听说借助lua就可以解决这个问题了。

正视自己的缺点

Q1：Redis锁的过期时间小于业务的执行时间该如何续期？

A1：这个暂时没有实现，据说有一个叫Redisson的家伙解决了这个问题，我们也有部分业务在使用，未来有可能会切换到Redisson。

Q2：怎么实现的高可用？

A2：我们采用Failover机制，初始化redis锁的时候会维护一个redis连接池，加锁或者释放锁的时候采用多写的方式来保障一致性，如果某个节点不可用的时候会自动切换到其他节点，但是这种机制可能会导致多个客户端同时获取到锁的情况，考虑这种情况：

  1. C1去redis1加锁，加锁成功后会写到redis2，redis3；

  2. C2也去redis1加锁，但是此时C2到redis1的网络出现问题，这时C2切换到redis2去加锁，由于第一步中的redis多写并不是原子的，所有就有可能导致C2也获取锁成功；

针对这种情况，目前有些业务方是通过数据库唯一索引的方式来规避的，未来会修复这个bug，具体方案目前还没有。

学习者可以进Java高级群，回复：“加群" 我会java我拍谁？

---END---

选择”开发者技术前线 “星标?，内容一触即达。点击原文更多惊喜！

开发者技术前线 汇集技术前线快讯和关注行业趋势，大厂干货，是开发者经历和成长的优秀指南。

历史推荐

Google Python 编程风格指南

2019 秋季最新最全面 JAVA 面试题 附答案

如何用思维导图学 Java 编程?(收藏版)

2019，Vue 开发最佳指南，你都需要学点啥？

640?

点个在看，解锁更多惊喜！

DevolperFront
关注
Redis 作者 Antirez 讲如何实现分布式锁？Redis 实现分布式锁天然的缺陷分析&Redis分布式锁的正确使用姿势！...
AI天才研究院
11-11 8742
Redis分布式锁基本原理采用 redis 实现分布式锁，主要是利用其单线程命令执行的特性，一般是 setnx， 只会有一个线程会执行成功，也就是只有一个线程能成功获取锁；看着很完美。然而——看看可能有什么问题？一般生产环境为了可用性，redis 会部署 master-slave + sentinel 的结构， 如：master 提供服务、slave standby 作为备份节点不提供服务， ma...
分布式锁-这一篇全了解(Redis实现分布式锁完美方案)
热门推荐
Franco的博客
12-31 2万+
前言 在某些场景中，多个进程必须以互斥的方式独占共享资源，这时用分布式锁是最直接有效的。 随着技术快速发展，数据规模增大，分布式系统越来越普及，一个应用往往会部署在多台机器上（多节点），在有些场景中，为了保证数据不重复，要求在同一时刻，同一任务只在一个节点上运行，即保证某一方法同一时刻只能被一个线程执行。在单机环境中，应用是在同一进程下的，只需要保证单进程多线程环境中的线程安全性，通过 JAV...
【大厂必备】系列之Redis分布式锁
mortal5的博客
08-01 365
上期文章我们聊了一下**【大厂必备】系列之Redis雪崩、击穿、穿透**，相信大家一定收获满满，这些可是进入大厂的必备板砖啊，这期我们接着放大招，来聊聊让人胆颤心惊的Redis分布式锁，哈哈哈…… 生活中，锁一般是被用于隔离两个空间或物体，比如，你用一把锁把你的心爱的宝贝锁起来，以防别人窃走。而在计算机世界里，因为资源往往是有限的，多个用户或请求同时请求某一资源，就会出现资源竞争问题，所以，锁主要是用来解决资源共享的问题。 分布式锁就是专门用来解决分布式应用之间共享资源的高并发问题。目前业界主流的实现方式
我们公司使用了 6 年的分布式锁
天行健，君子以自强不息；地势坤，君子以厚德载物。
08-21 264
阅读文本大概需要3分钟。作者：踩刀诗人www.cnblogs.com/chopper-poet/p/10802242.html前言提到数据一致性、操作原子性，诸如此类的一...
我们公司使用了6 年的分布式锁，很是牛逼啊！
Java后端技术
07-29 357
点击上方“Java后端技术”，选择“置顶或者星标”你关注的就是我关心的！作者：踩刀诗人来源：https://biiy.cn/000PZC上一篇：jar包天天见，可是你知道...
redis企业级分布式锁
zhaohan___的博客
03-11 206
前言 因为在分布式框架中给程序加锁，要考虑锁超时、死锁、释放锁，简单的使用redis set命令并不满足高并发场景下的业务，所以需要对这些情况进行容错。 RedisTemplate方式实现（大并发量情况下有锁超时的缺陷） // -------------------普通redis操作----------------------------- String lockName = "buyLock"; //clientid是为了防止错误释放锁，进行认证 String c
我们公司用了6 年的分布式锁，很是厉害！
Java技术栈，分享最主流的Java技术
06-23 907
作者：踩刀诗人 www.cnblogs.com/chopper-poet/p/10802242.html 前言 提到数据一致性、操作原子性，诸如此类的一些与并发有关的词汇时不知道你第一时间会联想到什么呢？我相信大多数人可能会想到“锁”，为什么是锁呢，这个我不多说，大家心里应该都明白。 在单体应用时代，我们使用jvm提供的锁就可以很好的工作，但是到了分布式应用时代，jvm提供的锁就行不通了，那么势必要借助一些跨jvm的临界资源来支持锁的相关语义，比如redis，zookeeper等。 步入正题 我今天就来.
Redssion分布式锁集成使用
zwrlj527的专栏
11-09 1862
序        计划提前了点，趁空看看这个传说中很牛逼的Redisson分布式锁，集成着玩，后面看场景试试使用。废话后面总结说，这里先上货。 一、依赖引入 <!-- redisson分布式锁 --> <dependency> <groupId>org.redisson</groupId> <artifactId>redisson-spring-boot-star
分布式锁的多种实现方式详解
m0_74931226的博客
12-27 1207
对多线程有所了解的朋友一般都会熟悉一个概念：锁。在多线程并发场景下，要保证在同一时刻只有一个线程可以操作某个业务、数据或者变量，通常需要使用加锁机制。比如或Lock等。而随着架构演进、业务发展，我们的应用往往都不是只部署在一台服务器上，而是使用分布式集群架构，同时存在多台相同的应用。比如某电商网站在进行商品销售时，因为商品的数量是有限的，每个用户购买一件商品，需要将商品的库存减1；
大厂都聊分布式系统，面试不知道分布式锁如何聊下去
JavaQ
04-26 449
公众号[JavaQ]原创，专注分享Java基础原理分析、实战技术、微服务架构、分布式系统构建，诚邀点赞关注！面试官：项目中使用过分布式锁吗？小小白：用过。面试官：为什么要使用分布式锁？小...
何俊林 优快云 BLOG 20171229.chm
12-29
何俊林 优快云 BLOG 20171229 ANDROID JAVA 何俊林 优快云 BLOG 20171229 ANDROID JAVA
在ThinkPHP 6框架中使用Redis处理高并发场景，通常涉及到缓存、分布式锁、队列等技术。以下是一个结合这些技术的完整示例代码，以处理一个简单的商品秒杀场景为例
jin5201的博客
04-11 2343
假设已安装并配置好ThinkPHP 6及Redis扩展。中配置消息队列驱动（如。
thinkphp6加锁
gx15941883020的专栏
08-27 1130
thinkphp6中使用Redis锁的方式是通过调用Redis的SET命令实现的。thinkphp6中使用文件锁的方式是通过调用PHP的flock函数实现的。在thinkphp6中，加锁的方式有文件锁和Redis锁两种，可以根据实际应用场景选择合适的加锁方式。上面的代码中，$lockFile是要锁定的文件名，LOCK_EX表示要进行独占锁定，LOCK_NB表示在锁定失败时不要阻塞等待锁。thinkphp6中提供了两种加锁的方式，分别是文件锁和Redis锁。value是要写入的值，NX表示只有当。
PHP项目添加分布式锁，这里是ThinkPHP8框架实现分布式锁
打代码是一天，不打代码也是一天
01-13 1208
查了各种博客及Redis官方文档，推荐了ronnylt/redlock-php这个扩展，进来发现这个扩展比较老旧了，支持PHP版本太老了。判断键是否存在和设置键及有效期是分两步来的，服务器卡的时候，放大了这两步操作的时间，导致了问题产生。背景：公司旧项目，最初访问量不多，单机部署的。后来，访问量上来了，有阵子很卡，公司决定横向扩展，后端代码部署了三台服务器。符合预期后，把这扩展安装到现有项目，优化了现有代码，测试上线，这里记录下，防止下回碰到类似问题又去重零解决此类问题。1、PHP项目安装扩展。
php 实现redis分布式锁
weixin_30746117的博客
10-08 154
前言 分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客，然而他们的实现却有着各种各样的问题，为了避免误人子弟，本篇博客将详细介绍如何正确地实现Redis分布式锁。 可靠性 首先，为了确保分布式锁可用，我们至少要确...
php使用redis分布式锁,php基于redis的分布式锁实例详解
weixin_36082388的博客
03-09 340
在使用分布式锁进行互斥资源访问时候，我们很多方案是采用redis的实现。固然，redis的单节点锁在极端情况也是有问题的，假设你的业务允许偶尔的失效，使用单节点的redis锁方案就足够了，简单而且效率高。redis锁失效的情况：客户端1从master节点获取了锁master宕机了，存储锁的key还没来得及同步到slave节点上slave升级为master客户端2从新的master上获取到同一个资源...
并发编程 分布式锁的三中实现方式
yz18931904的博客
08-04 640
分布式锁需要解决的问题： 1、单点问题 2、不可重入问题 3、死锁问题 4、阻塞锁 5、互斥性 1、基于数据库      创建一张数据库表 锁表 使用insert语句来锁住某个方法， 保存锁信息来加锁       使用for update 来实现分布式锁 2、基于redis来实现分布式锁  redis中set方法可以支持分布式锁 可以设置过期时间 可以设置请求的id信息 re...
Redis高并发秒杀和分布式锁技术应用及实战解析
05-02
本课程旨在让你快速学习和掌握，基于Redis应用场景很广泛的高级开发技术，先看下面的应用举例：高并发秒杀：商品秒杀、抢红包分布式锁：商品库存、账户资金增减这两种应用场景技术解决方案，无论是常规的系统，还是现在火热的区块链、物联网开发，都是必须且很有用的技术选型！在本课程中，主要会讲到如下内容：Redis的安装和环境搭建 高并发秒杀 Redis 实现分布式锁 Redis 实现微信群红包 Redis 实现项目实战讲解和代码演示thinkphp5 中如何使用 Redis常见的坑和问题交流
redis加锁解决抢购超卖问题
macanyao的博客
12-09 992
为了避免用户在抢购的过程中，服务器执行业务代码有延迟导致优先操作的用户没能按原有的顺序抢购到商品，也避免了后续程序执行会产生的超卖现象，所以要在用户进入业务处理的时候使用redis加锁（也可以使用文件锁，不过文件锁对于分布式服务器不太友好），以让后续进入的操作进行等待。 redis的三种加锁方式： 1.SETNX：判断$key是否存在，存在则表示前面有用户正在执行操作。 2.set：设置一个$key的值，有值则表示有程序正在执行。 3.incr：设置一个自增的key，大于等于1则表示...
Redisson实现的分布式锁-可重入
最新发布
07-30
<think>我们正在讨论Redisson如何实现可重入的分布式锁。根据引用[1][2][3][4][5]，Redisson使用Redis的hash结构存储锁信息，其中key是锁名称，field是客户端ID+线程ID，value是重入次数。获取锁时，先检查锁是否存在，若不存在则设置锁；若存在且是当前线程持有，则重入次数加1。释放锁时，重入次数减1，直到为0才删除锁。整个过程使用Lua脚本保证原子性。</think>### Redisson 可重入分布式锁实现原理 #### 一、核心数据结构 Redisson 使用 **Redis Hash 结构**存储锁信息： ```redis Key: "lock:business" // 锁名称 Field: "<客户端ID>:<线程ID>" // 持有者标识（如8743c9c0-0795-4907-87fd-6c719a6b4586:1） Value: <重入次数> // 锁的持有次数 ``` 示例数据： ```json { "8743c9c0-0795-4907-87fd-6c719a6b4586:1": 3 } ``` > 该结构表示客户端`8743...`的线程`1`已重入锁3次[^5] #### 二、加锁流程（原子操作） 通过 **Lua脚本** 实现原子操作： ```lua -- 参数说明：KEYS[1]=锁名称, ARGV[1]=超时时间, ARGV[2]=客户端ID:线程ID if (redis.call('exists', KEYS[1]) == 0) then -- 锁不存在：直接获取锁 redis.call('hincrby', KEYS[1], ARGV[2], 1) redis.call('pexpire', KEYS[1], ARGV[1]) return nil -- 返回nil表示成功 end if (redis.call('hexists', KEYS[1], ARGV[2]) == 1) then -- 当前线程已持有锁：重入次数+1 redis.call('hincrby', KEYS[1], ARGV[2], 1) redis.call('pexpire', KEYS[1], ARGV[1]) return nil end -- 锁被其他线程持有：返回锁剩余生存时间(毫秒) return redis.call('pttl', KEYS[1]) ``` > 脚本包含三个关键分支：首次获取、重入、锁冲突[^3] #### 三、释放锁流程 ```lua -- 参数说明：KEYS[1]=锁名称, KEYS[2]=解锁消息通道, ARGV[1]=超时时间, ARGV[2]=客户端ID:线程ID local counter = redis.call('hget', KEYS[1], ARGV[2]) if (counter == false) then return nil end if (tonumber(counter) > 1) then -- 重入次数>1：次数减1 redis.call('hincrby', KEYS[1], ARGV[2], -1) redis.call('pexpire', KEYS[1], ARGV[1]) return 0 else -- 最后一次持有：删除锁并发布解锁消息 redis.call('del', KEYS[1]) redis.call('publish', KEYS[2], ARGV[1]) return 1 end ``` #### 四、重入实现关键点 1. **线程标识唯一性** 组合`客户端ID(RedissonClient UUID) + 线程ID`，确保分布式环境下唯一[^3] 2. **重入计数机制** ```java void method1() { lock.lock(); try { method2(); // 嵌套调用 } finally { lock.unlock(); } } void method2() { lock.lock(); // 重入锁：计数+1 try { // ... } finally { lock.unlock(); // 计数-1 } } ``` 3. **锁续期机制** 后台线程(`Watchdog`)定期(默认10秒)检查： - 若线程仍持有锁，重置超时时间为30秒 - 防止业务未完成时锁自动过期[^4] #### 五、与其他实现对比 | 特性 | SETNX+EXPIRE | Redisson | |---------------------|--------------------------|--------------------------| | **可重入性** | ❌ 不支持 | ✔️ 基于Hash结构计数 | | **锁续期** | ❌ 需自行实现 | ✔️ Watchdog自动续期 | | **锁释放原子性** | ❌ DEL非原子 | ✔️ Lua脚本保证原子性 | | **等待队列** | ❌ 轮询消耗资源 | ✔️ Semaphore+Pub/Sub | #### 六、等待获取锁机制 当锁被占用时，通过 **Semaphore + Redis Pub/Sub** 实现高效等待： 1. 订阅锁释放消息通道 2. 使用`Semaphore.tryAcquire(ttl)`限时等待 3. 收到解锁通知后立即重试获取锁[^4] ```java // 伪代码实现 while (true) { Long ttl = tryAcquireLock(); // 尝试获取锁 if (ttl == null) break; // 获取成功 if (ttl > 0) { semaphore.tryAcquire(ttl, MILLISECONDS); // 限时等待 } else { semaphore.acquire(); // 阻塞等待 } } ``` > **设计优势**：Redisson 将复杂的分布式锁逻辑（可重入、锁续期、等待队列）封装为原子操作，开发者只需关注业务代码[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值