面试被问Redis锁,我脸都绿了......

用万字长文来讲讲本地锁至分布式锁的演进和Redis实现,扩展 Redlock 红锁 本地锁失效是因为无法锁住各个应用的读写请求,失效的根本原因就是其他的服务无法感知到是否已经有请求上锁了,即无法共享锁信息。分布式锁,其实也就是将加锁的这一个操作,单独的抽取出来了,让每个服务都能感知到。之前就说了,软件架构设计中,“没有什么是加一层解决不了的,如果加一层不行就再加一层”。这里其实也是一样,只不过碰巧这一层可以在Redis中实现罢了,看起来倒是没有多加一层,但如果是用Zookeeper或者其他方式来实现,你会发现架构中会多一层滴。其实理解思想实现的方式有很多种的, 阅读详情

精选:★→2020年最新的常问企业面试题大全以及答案

作者:Vt

编辑:陶家龙

出处:https://juejin.im/post/5e61a454e51d4526f071e1df

笔者今天带来一篇关于 Redis 锁的文章,连敲带画码出此文,有一些细节,对 Redis 锁不清晰的盆友不妨瞧一瞧。

如果是有经验的盆友,挑挑毛病,那笔者是更感谢了!闲话不多,马上发车。


谈起 Redis 锁,下面三个,算是出现最多的高频词汇:

  • Setnx

  • RedLock

  • Redisson

Setnx

目前通常所说的 Setnx 命令,并非单指 Redis 的 setnx key value 这条命令。

一般代指 Redis 中对 Set 命令加上 NX 参数进行使用,Set 这个命令,目前已经支持这么多参数可选:

SET key value [EX seconds|PX milliseconds] [NX|XX] [KEEPTTL]

当然了,就不在文章中默写 API 了,基础参数还有不清晰的,可以蹦到官网。

上图是笔者画的 Setnx 大致原理,主要依托了它的 Key 不存在才能 Set 成功的特性,进程 A 拿到锁,在没有删除锁的 Key 时,进程 B 自然获取锁就失败了。

那么为什么要使用 PX 30000 去设置一个超时时间?是怕进程 A 不讲道理啊,锁没等释放呢,万一崩了,直接原地把锁带走了,导致系统中谁也拿不到锁。

就算这样,还是不能保证万无一失。如果进程 A 又不讲道理,操作锁内资源超过笔者设置的超时时间,那么就会导致其他进程拿到锁,等进程 A 回来了,回手就是把其他进程的锁删了,如图:

还是刚才那张图,将 T5 时刻改成了锁超时,被 Redis 释放。

进程 B 在 T6 开开心心拿到锁不到一会,进程 A 操作完成,回手一个 Del,就把锁释放了。

当进程 B 操作完成,去释放锁的时候(图中 T8 时刻):

找不到锁其实还算好的,万一 T7 时刻有个进程 C 过来加锁成功,那么进程 B 就把进程 C 的锁释放了。

以此类推,进程 C 可能释放进程 D 的锁,进程 D....(禁止套娃),具体什么后果就不得而知了。

所以在用 Setnx 的时候,Key 虽然是主要作用,但是 Value 也不能闲着,可以设置一个唯一的客户端 ID,或者用 UUID 这种随机数。

当解锁的时候,先获取 Value 判断是否是当前进程加的锁,再去删除。伪代码:

String uuid = xxxx;
// 伪代码,具体实现看项目中用的连接工具
// 有的提供的方法名为set 有的叫setIfAbsent
set Test uuid NX PX 3000
try{
// biz handle....
} finally {
    // unlock
    if(uuid.equals(redisTool.get('Test')){
        redisTool.del('Test');
    }
}

这回看起来是不是稳了?相反,这回的问题更明显了,在 Finally 代码块中,Get 和 Del 并非原子操作,还是有进程安全问题。

为什么有问题还说这么多呢?有如下两点原因:

  • 搞清劣势所在,才能更好的完善。

  • 上文中最后这段代码,还是有很多公司在用的。

大小项目悖论:

大公司实现规范,但是小司小项目虽然存在不严谨,可并发倒也不高,出问题的概率和大公司一样低。

-- 鲁迅

那么删除锁的正确姿势之一,就是可以使用 Lua 脚本,通过 Redis 的 eval/evalsha 命令来运行:

-- lua删除锁:
-- KEYS和ARGV分别是以集合方式传入的参数,对应上文的Test和uuid。
-- 如果对应的value等于传入的uuid。
if redis.call('get', KEYS[1]) == ARGV[1] 
    then 
    -- 执行删除操作
        return redis.call('del', KEYS[1]) 
    else 
    -- 不成功,返回0
        return 0 
end

通过 Lua 脚本能保证原子性的原因说的通俗一点:就算你在 Lua 里写出花,执行也是一个命令(eval/evalsha)去执行的,一条命令没执行完,其他客户端是看不到的。

那么既然这么麻烦,有没有比较好的工具呢?就要说到 Redisson 了。

介绍 Redisson 之前,笔者简单解释一下为什么现在的 Setnx 默认是指 Set 命令带上 NX 参数,而不是直接说是 Setnx 这个命令。

因为 Redis 版本在 2.6.12 之前,Set 是不支持 NX 参数的,如果想要完成一个锁,那么需要两条命令:

1. setnx Test uuid
2. expire Test 30

即放入 Key 和设置有效期,是分开的两步,理论上会出现 1 刚执行完,程序挂掉,无法保证原子性。

但是早在 2013 年,也就是 7 年前,Redis 就发布了 2.6.12 版本,并且官网(Set 命令页),也早早就说明了“SETNX,SETEX,PSETEX 可能在未来的版本中,会弃用并永久删除”。

笔者曾阅读过一位大佬的文章,其中就有一句指导入门者的面试小套路,具体文字忘记了,大概意思如下:说到 Redis 锁的时候,可以先从 Setnx 讲起,最后慢慢引出 Set 命令的可以加参数,可以体现出自己的知识面。

如果有缘你也阅读过这篇文章,并且学到了这个套路,作为本文的笔者我要加一句提醒:请注意你的工作年限!首先回答官网表明即将废弃的命令,再引出 Set 命令七年前的“新特性”,如果是刚毕业不久的人这么说,面试官会以为自己穿越了。

你套路面试官,面试官也会套路你。  

-- vt・沃兹基硕德

Redisson

Redisson 是 Java 的 Redis 客户端之一,提供了一些 API 方便操作 Redis。

但是 Redisson 这个客户端可有点厉害,笔者在官网截了仅仅是一部分的图:

这个特性列表可以说是太多了,是不是还看到了一些 JUC 包下面的类名,Redisson 帮我们搞了分布式的版本。

比如 AtomicLong,直接用 RedissonAtomicLong 就行了,连类名都不用去新记,很人性化了。

锁只是它的冰山一角,并且从它的 Wiki 页面看到,对主从,哨兵,集群等模式都支持,当然了,单节点模式肯定是支持的。

本文还是以锁为主,其他的不过多介绍。Redisson 普通的锁实现源码主要是 RedissonLock 这个类,还没有看过它源码的盆友,不妨去瞧一瞧。

源码中加锁/释放锁操作都是用 Lua 脚本完成的,封装的非常完善,开箱即用。

这里有个小细节,加锁使用 Setnx 就能实现,也采用 Lua 脚本是不是多此一举?

笔者也非常严谨的思考了一下:这么厉害的东西哪能写废代码?

 

其实笔者仔细看了一下,加锁解锁的 Lua 脚本考虑的非常全面,其中就包括锁的重入性,这点可以说是考虑非常周全,我也随手写了代码测试一下:

的确用起来像 JDK 的 ReentrantLock 一样丝滑,那么 Redisson 实现的已经这么完善,RedLock 又是什么?

RedLock

RedLock的中文是直译过来的,就叫红锁。红锁并非是一个工具,而是 Redis 官方提出的一种分布式锁的算法。

就在刚刚介绍完的 Redisson 中,就实现了 RedLock 版本的锁。也就是说除了 getLock 方法,还有 getRedLock 方法。

笔者大概画了一下对红锁的理解:

如果你不熟悉 Redis 高可用部署,那么没关系。RedLock 算法虽然是需要多个实例,但是这些实例都是独自部署的,没有主从关系。

RedLock 作者指出,之所以要用独立的,是避免了 Redis 异步复制造成的锁丢失,比如:主节点没来的及把刚刚 Set 进来这条数据给从节点,就挂了。

有些人是不是觉得大佬们都是杠精啊,天天就想着极端情况。其实高可用嘛,拼的就是 99.999...% 中小数点后面的位数。

回到上面那张简陋的图片,红锁算法认为,只要 2N+1 个节点加锁成功,那么就认为获取了锁, 解锁时将所有实例解锁。

流程为:

  • 顺序向五个节点请求加锁

  • 根据一定的超时时间来推断是不是跳过该节点

  • 三个节点加锁成功并且花费时间小于锁的有效期

  • 认定加锁成功

也就是说,假设锁 30 秒过期,三个节点加锁花了 31 秒,自然是加锁失败了。

这只是举个例子,实际上并不应该等每个节点那么长时间,就像官网所说的那样,假设有效期是 10 秒,那么单个 Redis 实例操作超时时间,应该在 5 到 50 毫秒(注意时间单位)。

还是假设我们设置有效期是 30 秒,图中超时了两个 Redis 节点。那么加锁成功的节点总共花费了 3 秒,所以锁的实际有效期是小于 27 秒的。

即扣除加锁成功三个实例的 3 秒,还要扣除等待超时 Redis 实例的总共时间。看到这,你有可能对这个算法有一些疑问,那么你不是一个人。

回头看看 Redis 官网关于红锁的描述,就在这篇描述页面的最下面,你能看到著名的关于红锁的神仙打架事件。

即 Martin Kleppmann 和 Antirez 的 RedLock 辩论。一个是很有资历的分布式架构师,一个是 Redis 之父。

官方挂人,最为致命。开个玩笑,要是质疑能被官方挂到官网,说明肯定是有价值的。

所以说如果项目里要使用红锁,除了红锁的介绍,不妨要多看两篇文章,即:

  • Martin Kleppmann 的质疑贴

  • Antirez 的反击贴

总结

看了这么多,是不是发现如何实现,都不能保证 100% 的稳定。程序就是这样,没有绝对的稳定,所以做好人工补偿环节也是重要的一环,毕竟:技术不够,人工来凑!

推荐阅读

IDEA 2020,9个新特性曝光,程序员:追不上了。。。

推荐 33 个 IDEA 最牛配置,写代码太爽了

JVM 史上最最最完整深入解析(12000 字噢)

经验:一个秒杀系统的设计思考

如何在SpringBoot中异步请求和异步调用

SpringBoot+JWT+Shiro+MybatisPlus实现Restful快速开发后端脚手架


好文!必须点赞
redisson实现的MultiLock、RedLock分布式锁使用场景和可能存在的问题。 Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它是一个基于Redis实现的高级分布式锁客户端。同时Redisson是Redis官网指定的RedlLock使用Java语言的实现。网络上沿着Redisson的官方文档的介绍已经很多,公平锁、读写锁、信号量、闭锁的用法和源码解析。我这里就不做赘述。本篇博文主要讲使用联锁MultiLock和红锁RedLock的必要场景,以及可能出现的问题。 阅读详情

相关推荐

VS2017中调用gdal(C#版)的方法二(含gdal下载地址,配置过程,代码测试,超详细!!)

VS2017中gdal(C#)版的配置与测试 上次记录了直接在VS2017中下载并应用gdal的方法,这次来记录一下网上下载的安装包配置与测试的方法。 一、环境、版本及下载地址 win10,vs2017社区版,gdal2.4.4 还是像之前在Unity中应用gdal一样,最好是下载已经编译好的C#版的gdal,不然自己配置真的很容易出错,我就是这样的,下面提供不同版本的gdal下载地址: 1.GDAL2.4.4(C#版、64位): https://download.csdn.net/download/che

chengbaola的博客 1366

Redisson 分布式锁源码 09:RedLock 红锁的故事

前言 RedLock 红锁,是分布式锁中必须要了解的一个概念。 所以本文会先介绍什么是 RedLock,当大家对 RedLock 有一个基本的了解。然后再看 Redisson 中是如何实现 RedLock 的。 在文章开头先说明 Redisson RedLock 建议不要使用!!! 在文章开头先说明 Redisson RedLock 建议不要使用!!! 在文章开头先说明 Redisson RedLock 建议不要使用!!! 重要的事情重复三遍! 什么是 RedLock? RedLock,这块可以从网上搜到很

程序员小航 1527

MySQL等保三级合规实践:如何安全配置root账户的本地与受信主机登录策略

本文详细介绍了MySQL在等保三级合规框架下如何安全配置root账户的本地与受信主机登录策略。通过分析root账户的特殊保护需求,提供三种安全加固方案,包括限制访问范围、限定登录IP和完全禁止远程登录,并指导创建安全的远程管理账户。文章还涵盖了密码策略强化、日志审计配置和网络层防护等关键合规要求,帮助用户实现MySQL的等保三级全面合规。

weixin_42522964的博客 260

Redis之红锁

当线程1获取了锁之后,假设此时redis主节点宕机,随之一个副节点马上变成主节点线程2会从新的主节点获得锁,这就发生了互斥的问题。

weixin_45440755的博客 1841

python爬取淘宝数据

python爬取淘宝数据淘宝评论 淘宝评论 打开淘宝,选择打开需要爬取的商品的评论。在谷歌浏览器选择开发者工具,选择network,找到list_detail_rate.htm?itemId=624466733121,点击headers、previews,可以看见相应的评论数据。 爬取一页屏评论代码如下 import re import requests headers = { 'Referer': '在headers中', 'User-Agent': '在

qq_36333776的博客 5800

单波束与多波束声呐:从原理到应用场景的全面解析

本文全面解析了单波束与多波束声呐的工作原理、核心特点及应用场景。单波束声呐如精准的狙击手,适合高精度需求;多波束声呐则像高效的散弹枪,适用于快速测绘和大面积覆盖。文章还提供了选型指南和前沿发展趋势,帮助用户根据预算和需求选择最适合的声呐技术。

weixin_30872157的博客 222

Redisson——联合锁和红锁

联合锁和红锁放在一起来分析,是因为这两种锁实现在Redisson中,关联密切。红锁是官方提出的一个锁方案,大概如下:假设redis集群有5个节点,一个客户端申请锁时,会向所有的节点申请锁,只有大于一半的节点数量返回成功,且耗费的总时间小于锁有效时间,才会判定为拿锁成功,否则会被认定为失败,需要将已经成功的节点锁释放掉。

m0_64363449的博客 1655

java.sql.SQLIntegrityConstraintViolationException: #23000

java.sql.SQLIntegrityConstraintViolationException: #23000**异常信息****异常原因****解决方法** 异常信息 ### Cause: java.sql.SQLIntegrityConstraintViolationException: #23000 ; #23000; nested exception is java.sql.SQLIntegrityConstraintViolationException: #23000] with root c

123 4357

面试问Redis锁,我脸都绿了......

谈起 Redis 锁,下面三个,算是出现最多的高频词汇:SetnxRedLockRedissonSetnx目前通常所说的 Setnx 命令,并非单指 R...

HollisChuang's Blog 1104

使用R语言读取和处理CSV数据集

查看数据集的结构str(data)# 查看数据集的摘要统计信息str()函数将显示数据集的结构信息,包括变量名称、类型和前几行的值。summary()函数将提供数据集的摘要统计信息,如均值、中位数、最小值、最大值等。

CyberGenius的博客 3856

fatal: unable to access ‘https://github.com/xxx.git/‘ OpenSSL SSL_connect: SSL_ERROR_SYSCALL 解决方案

 本文主要介绍了fatal: unable to access ‘https://github.com/xxx.git/’: OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443解决方案,希望能对使用git的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 24万+

redis 命令 释放连接_面试问 Redis 锁,我脸都绿了......

(给数据分析与开发加星标,提升数据技能)来源:掘金,作者:Vthttps://juejin.im/post/5e61a454e51d4526f071e1df笔者今天带来一篇关于 Redis 锁的文章,连敲带画码出此文,有一些细节,对 Redis 锁不清晰的盆友不妨瞧一瞧。如果是有经验的盆友,挑挑毛病,那笔者是更感谢了!闲话不多,马上发车。谈起 Redis 锁,下面三个,算是出现最多的高频...

weixin_29938387的博客 97

【PyTorch】CNN(一维卷积Conv1D)实现时间序列预测

本文介绍了一维卷积神经网络(Conv1D)在时间序列预测中的应用,展示了其基本原理及实现方式。通过合适的数据预处理和模型调参,Conv1D可以有效地捕捉时间序列数据中的模式,从而进行精准预测。

走向CTO的路上... 1173

redis 命令 释放连接_面试问Redis锁,我脸都绿了......

作者:Vt编辑:陶家龙出处:https://juejin.im/post/5e61a454e51d4526f071e1df谈起 Redis 锁,下面三个,算是出现最多的高频词汇:SetnxRedLockRedissonSetnx目前通常所说的 Setnx 命令,并非单指 Redis 的 setnx key value 这条命令。一般代指 Redis 中对 Set 命令加上 NX 参数进行使用,Se...

weixin_39975122的博客 78

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

妈妈再也不担心我面试被Redis问得脸都绿了

长文前排提醒,收藏向前排提醒,素质三连 (转发 + 在看 + 留言) 前排提醒! 前言 Redis 作为一个开源的,高级的键值存储和一个适用的解决方案,已经越来越在构建 「高性能」、「可扩展」 的 Web 应用上发挥着举足轻重的作用。 当今互联网技术架构中 Redis 已然成为了应用得最广泛的中间件之一,它也是中高级后端工程 技术面试 中面试官最喜欢问的工程技能之一,不仅仅要求着我们对 基...

我没有三颗心脏的博客 1267

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: 绝了!一个妹子 rm -rf 把公司整个数据库删没了
下一篇: 酸爽!一个基于 Spring Boot 的API、RESTful API 项目骨架,值得拥有!
Java思维导图
博客等级 码龄10年 306粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值