看完这篇Redis 分布式锁实现原理,面试官都被你征服!

群晖设置公网ipv6方式域名解析访问 群晖、IPV6、域名解析 阅读详情

谈起redis锁,下面三个,算是出现最多的高频词汇:

  • setnx
  • redLock
  • redisson

setnx

其实目前通常所说的setnx命令,并非单指redis的setnx key value这条命令。

一般代指redis中对set命令加上nx参数进行使用, set这个命令,目前已经支持这么多参数可选:


 
SET key value [EX seconds|PX milliseconds] [NX|XX] [KEEPTTL]

当然了,就不在文章中默写Api了,基础参数还有不清晰的,可以蹦到官网。

 

上图是笔者画的setnx大致原理,主要依托了它的key不存在才能set成功的特性,进程A拿到锁,在没有删除锁的Key时,进程B自然获取锁就失败了。

那么为什么要使用PX 30000去设置一个超时时间?

是怕进程A不讲道理啊,锁没等释放呢,万一崩了,直接原地把锁带走了,导致系统中谁也拿不到锁。

就算这样,还是不能保证万无一失。

如果进程A又不讲道理,操作锁内资源超过笔者设置的超时时间,那么就会导致其他进程拿到锁,等进程A回来了,回手就是把其他进程的锁删了,如图:

 

还是刚才那张图,将T5时刻改成了锁超时,被redis释放。

进程B在T6开开心心拿到锁不到一会,进程A操作完成,回手一个del,就把锁释放了。

当进程B操作完成,去释放锁的时候(图中T8时刻):

 

找不到锁其实还算好的,万一T7时刻有个进程C过来加锁成功,那么进程B就把进程C的锁释放了。以此类推,进程C可能释放进程D的锁,进程D....(禁止套娃),具体什么后果就不得而知了。

所以在用setnx的时候,key虽然是主要作用,但是value也不能闲着,可以设置一个唯一的客户端ID,或者用UUID这种随机数。

当解锁的时候,先获取value判断是否是当前进程加的锁,再去删除。伪代码:


 
String uuid = xxxx; // 伪代码,具体实现看项目中用的连接工具 // 有的提供的方法名为set 有的叫setIfAbsent set Test uuid NX PX 3000 try{ // biz handle.... } finally {     // unlock     if(uuid.equals(redisTool.get('Test')){         redisTool.del('Test');     } } 

这回看起来是不是稳了。

相反,这回的问题更明显了,在finally代码块中,get和del并非原子操作,还是有进程安全问题。

为什么有问题还说这么多呢?

第一,搞清劣势所在,才能更好的完善。

第二点,其实上文中最后这段代码,还是有很多公司在用的。

大小项目悖论:大公司实现规范,但是小司小项目虽然存在不严谨,可并发倒也不高,出问题的概率和大公司一样低。 -- 鲁迅

那么删除锁的正确姿势之一,就是可以使用lua脚本,通过redis的eval/evalsha命令来运行:


 
-- lua删除锁: -- KEYS和ARGV分别是以集合方式传入的参数,对应上文的Test和uuid。 -- 如果对应的value等于传入的uuid。 if redis.call('get', KEYS[1]) == ARGV[1]     then  -- 执行删除操作         return redis.call('del', KEYS[1])     else  -- 不成功,返回0         return 0 end 

通过lua脚本能保证原子性的原因说的通俗一点:

就算你在lua里写出花,执行也是一个命令(eval/evalsha)去执行的,一条命令没执行完,其他客户端是看不到的。

那么既然这么麻烦,有没有比较好的工具呢?就要说到redisson了。


介绍redisson之前,笔者简单解释一下为什么现在的setnx默认是指set命令带上nx参数,而不是直接说是setnx这个命令。

因为redis版本在2.6.12之前,set是不支持nx参数的,如果想要完成一个锁,那么需要两条命令:


 
1. setnx Test uuid 2. expire Test 30 

即放入Key和设置有效期,是分开的两步,理论上会出现1刚执行完,程序挂掉,无法保证原子性。

但是早在2013年,也就是7年前,Redis就发布了2.6.12版本,并且官网(set命令页),也早早就说明了“SETNX, SETEX, PSETEX可能在未来的版本中,会弃用并永久删除”。

笔者曾阅读过一位大佬的文章,其中就有一句指导入门者的面试小套路,具体文字忘记了,大概意思如下:

说到redis锁的时候,可以先从setnx讲起,最后慢慢引出set命令的可以加参数,可以体现出自己的知识面。

如果有缘你也阅读过这篇文章,并且学到了这个套路,作为本文的笔者我要加一句提醒:

请注意你的工作年限!首先回答官网表明即将废弃的命令,再引出set命令七年前的“新特性”,如果是刚毕业不久的人这么说,面试官会以为自己穿越了。

你套路面试官,面试官也会套路你。 -- vt・沃兹基硕德

Redisson

Redisson是java的redis客户端之一,提供了一些api方便操作redis。

但是redisson这个客户端可有点厉害,笔者在官网截了仅仅是一部分的图:

 

这个特性列表可以说是太多了,是不是还看到了一些JUC包下面的类名,redisson帮我们搞了分布式的版本,比如AtomicLong,直接用RedissonAtomicLong就行了,连类名都不用去新记,很人性化了。

锁只是它的冰山一角,并且从它的wiki页面看到,对主从,哨兵,集群等模式都支持,当然了,单节点模式肯定是支持的。

本文还是以锁为主,其他的不过多介绍。

Redisson普通的锁实现源码主要是RedissonLock这个类,还没有看过它源码的盆友,不妨去瞧一瞧。

源码中加锁/释放锁操作都是用lua脚本完成的,封装的非常完善,开箱即用。

这里有个小细节,加锁使用setnx就能实现,也采用lua脚本是不是多此一举?笔者也非常严谨的思考了一下:这么厉害的东西哪能写废代码?

 

其实笔者仔细看了一下,加锁解锁的lua脚本考虑的非常全面,其中就包括锁的重入性,这点可以说是考虑非常周全,我也随手写了代码测试一下:

 

的确用起来像jdk的ReentrantLock一样丝滑,那么redisson实现的已经这么完善,redLock又是什么?

RedLock

redLock的中文是直译过来的,就叫红锁。

红锁并非是一个工具,而是redis官方提出的一种分布式锁的算法。

就在刚刚介绍完的redisson中,就实现了redLock版本的锁。也就是说除了getLock方法,还有getRedLock方法。

笔者大概画了一下对红锁的理解:

 

如果你不熟悉redis高可用部署,那么没关系。redLock算法虽然是需要多个实例,但是这些实例都是独自部署的,没有主从关系。

RedLock作者指出,之所以要用独立的,是避免了redis异步复制造成的锁丢失,比如:主节点没来的及把刚刚set进来这条数据给从节点,就挂了。

有些人是不是觉得大佬们都是杠精啊,天天就想着极端情况。其实高可用嘛,拼的就是99.999...% 中小数点后面的位数。

回到上面那张简陋的图片,红锁算法认为,只要(N/2) + 1个节点加锁成功,那么就认为获取了锁, 解锁时将所有实例解锁。流程为:

  1. 顺序向五个节点请求加锁
  2. 根据一定的超时时间来推断是不是跳过该节点
  3. 三个节点加锁成功并且花费时间小于锁的有效期
  4. 认定加锁成功

也就是说,假设锁30秒过期,三个节点加锁花了31秒,自然是加锁失败了。

这只是举个例子,实际上并不应该等每个节点那么长时间,就像官网所说的那样,假设有效期是10秒,那么单个redis实例操作超时时间,应该在5到50毫秒(注意时间单位)

还是假设我们设置有效期是30秒,图中超时了两个redis节点。那么加锁成功的节点总共花费了3秒,所以锁的实际有效期是小于27秒的。

即扣除加锁成功三个实例的3秒,还要扣除等待超时redis实例的总共时间。

看到这,你有可能对这个算法有一些疑问,那么你不是一个人。

回头看看Redis官网关于红锁的描述

就在这篇描述页面的最下面,你能看到著名的关于红锁的神仙打架事件。

即Martin Kleppmann和antirez的redLock辩论. 一个是很有资历的分布式架构师,一个是redis之父。

官方挂人,最为致命。

开个玩笑,要是质疑能被官方挂到官网,说明肯定是有价值的。

所以说如果项目里要使用红锁,除了红锁的介绍,不妨要多看两篇文章,即:

  1. Martin Kleppmann的质疑贴
  2. antirez的反击贴

干货资料视频放送:带你深度解读框架核心源码,全面解析主流分布式锁方案,教你如何玩极致分布式锁。

需要的小伙伴,麻烦帮忙转发一下这篇文章+关注我,然后添加小助手VX:xuanwo008即可领取

适合人群

本次分享的内容偏原理和源码,需要有一定的Java基础知识,适合:

  • 具备一定自学能力,想提升自己;
  • 想要系统了解Java中锁的知识的小伙伴;
  • 立志成为高级工程师、架构师的IT人;

目录:

  • 1,Java各类锁机制精讲;
  • 2,公平锁和非公平锁底层原理分析;
  • 3,谷歌线上如何使用锁及效率对比;
  • 4,AQS框架核心源码深度解读;
  • 5,线上千万并发系统AQS调优实战.

 

 

 

 

 

程序员面试题集:

需要的小伙伴,添加小助手VX:xuanwo008即可领取

Windows下用Anaconda安装d2l库避坑指南(附PermissionError解决方案) 本文详细介绍了在Windows系统下使用Anaconda安装d2l库的完整指南,特别针对常见的PermissionError问题提供了多种解决方案。从环境准备到库安装,再到VSCode配置和数据路径处理,帮助读者顺利搭建深度学习环境并运行《动手学深度学习》的代码示例。 阅读详情

相关推荐

使用光流进行 Warp 的流程

光流描述了图像帧中每个像素的运动。前向光流:描述了帧中每个像素在帧中的移动位置。后向光流:描述了帧中每个像素在帧​ 中的移动位置。水平方向的位移(x 方向),即每个像素水平移动了多少像素。垂直方向的位移(y 方向),即每个像素垂直移动了多少像素。使用光流进行 Warp 的流程Warp 是通过光流对图像进行变换的操作,旨在将前一帧的像素根据光流场映射到下一帧的对应位置。Step 1: 计算光流我们首先需要通过光流网络(如 RAFT)来估算两帧之间的光流。我们可以获得前向光流(从帧​ 到帧。

qq_44199605的博客 2108

Redis分布式锁实现原理

Redis实现分布式锁原理以及Redisson源码分析

leofee的博客 7574

LeRobot SO-ARM100 学习笔记(2) diffusion module

对 lerobot 中的 diffusion policy 进行基本的代码阅读

mikhailbran的博客 1586

Redis分布式锁原理

业务背景: 后台定时任务刷新Redis的数据到数据库中,有多台机器开启了此定时同步的任务,但是需要其中一台工作,其他的作为备用,提高可用性。使用Redis分布式锁进行限制,拿到锁的机器去执行具体业务,拿不到锁的继续轮询。 分布式锁原理 分布式锁:当多个进程不在同一个系统中,多个进程共同竞争同一个资源,用分布式锁控制多个进程对资源的互斥访问。采用Redis服务器存储锁信息(即SET一个Key表示已加锁),可以实现多进程的并发读锁的状态,如果没有锁,则只允许一个进程加锁。 Redis分布式锁实现的关键点:

y果子 5754

Unity中使用TCP和UDP传输摄像头视频的实践

本文探讨了在Unity中通过TCP和UDP协议传输摄像头视频的实现方法。TCP通过自定义消息帧保证数据完整性但效率较低,UDP传输速度快但可能丢帧。文章提供了Python和Unity的代码示例,分析了两种协议的适用场景:TCP适合要求数据完整性的应用,UDP则适合追求实时性的场景。最终选择取决于具体需求,并需要注意线程安全与同步机制。

m0_74337424的博客 145

Openai gym environment for multi-agent games

用于多智能体游戏的 OpenAI Gym 环境

suiusoar 1194

Redis实现分布式锁原理(面试重点)

Redis实现分布式锁原理(面试重点)简素主要从为什么如何实现分布锁加锁以及解锁,解锁的几种方式,然后过期时间存在的问题,看门狗机制的处理,守护进程机制的实现

可乐要加冰!!! 7418

【OpenClaw】Edict 三省六部制部署与启动

文章摘要 本文聚焦Edict系统的本地部署与启动,提供三种安装方式:Docker快速体验、macOS/Linux原生安装和Windows生产仿真。核心目标是让用户能够独立完成系统启动和基础问题排查,确保看板、后端服务、同步脚本和网关正常运行。文章强调环境检查的重要性,并给出具体验收标准:浏览器能访问看板页面(http://127.0.0.1:7891)和接口返回JSON数据。同时提供一键启动/停止脚本和常见问题处理建议,帮助用户快速验证部署结果。配套系列教程涵盖部署启动、使用实战、二次开发和封装版本使用等内

Mr数据杨 2901

Redis-SET key value

SETkeyvalue[EX seconds|PX milliseconds][NX|XX][KEEPTTL] Available since 1.0.0. Time complexity:O(1) Setkeyto hold the stringvalue. Ifkeyalready holds a value, it is overwritten, regardless of its type. Any previous time to live associated wit...

cxu123321的博客 1482

【NVIDIA-B200 GPU固件升级】NVIDIA Blackwell B200 GPU 固件更新全指南

B200 GPU 固件更新并非 “执行一条命令即可” 的简单操作,而是涉及 “版本兼容性校验、BMC 环境准备、UEFI 引导、Redfish 协议交互” 的系统性工程。从文档翻译与技术解析来看,NVIDIA 的更新流程设计围绕 “安全” 与 “稳定” 两大核心 —— 无论是 0.9 版本的 “跳板限制”,还是 UEFI Shell 的引导要求,本质都是为了避免因操作不当导致硬件损坏。对于数据中心运维人员,建议在更新前做好三项准备:① 确认 GPU 当前固件版本(通过查询),规划升级路径;

jundao1997的专栏 742

MIKE21 教程 3.2 随空间变化的网格文件制作(.dfsu文件制作) 曼宁值网格文件制作

上一节讲解了如何制作时间序列文件。本节讲解如何制作仅随空间变化的文件。 目录 1 数据准备 1.1 基于地形设置 1.2 基于地形水深设置: 2 数据导入 3 数据导出

Hello Word 3941

深入解析 Redis 分布式锁原理

深入解析 Redis 分布式锁原理

这个人很懒,什么都没有留下。 2871

数据分享|2023年OSM道路数据(全国,分省,分市)

首先这个工作非常有必要的,因为我们正常使用的道路的分类都是基于包括城市快速路、城市主干路、城市次干路这个体系的,大家对于这个分类体系应该更熟悉,但是OSM地图的道路分类又不是完全按这个来的,所以非常有必要重新分类;搞清楚道路类型是我们使用道路数据做很多工作的基础,比如我们在使用道路数据的时候,经常需要预估道路的行车速度,而这个速度一般就是根据道路类型来的,比如高架路的车速肯定就比城市支路快很多!下载分为两种情况,第一种是下载小区域的数据,比如下载一个街区的数据,第二种为下载整个中国范围的。

JData_Engineer的博客 4306

面试官:我们来聊一聊Redis吧,你了解多少就答多少

面试官:我们来聊一聊Redis吧,后面的问题你肯定想不到

真正的大师永远怀着一颗学徒的心 1万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

大厂面经:我和面试官的极限拉扯之Redis基础篇

你知道的越多,你不知道的越多 点赞再看,养成习惯 GitHub上已经开源github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 面试开始 一个大腹便便,穿着格子衬衣的中年男子,拿着一个满是划痕的mac向你走来,看着快秃顶的头发,心想着肯定是尼玛顶级架构师吧!但是我们腹有诗书气自华,虚都不虚。 小伙子您好,看你简历上写了你项目里面用到了Redis,你们为啥用Redis? 心里忍不住暗骂,这叫啥问题,大家不都是用的这个嘛,但是你不能说出来。 认真回答道...

wdj_yyds的博客 414

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

二本渣渣的疯狂逆袭之路,奋战3月有余,3面蚂蚁金服终已征服面试官斩下我的offer!

二本渣渣的疯狂逆袭之路,奋战3月有余,3面蚂蚁金服终已征服面试官斩下我的offer! 一面:30分钟 自我介绍 手写冒泡排序 介绍Java线程池 线程池的流程 为什么要用线程池 有哪些常用的线程池,各自的应用场景是什么样的 频繁创建销毁线程会消耗哪些资源 线程同步的方式 synchronized锁升级过程 MySQL的隔离级别 不同隔离级别各自会出现什么问题 间隙锁原理 读的时候可以加锁吗 elasticsearch原理(倒排索引) 如果同一个单词在多个文本中出现,该怎么选择

mifffy_java的博客 425

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

太强了,阿里最新开源的这份Redis全栈小册,涵盖了Redis的所有操作

Redis这玩意不用多说,Java后端打工人就没有没接触过的,现在出去面试基本上是必问项;而且在工作中在项目中还能起很大的作用。它不仅能减少数据库的操作、并且你还可以利用redis的一些数据结构如set sorted set 解决一些特定的问题、利用单线程实现分布式锁、一些简单的订阅发布等等。当然,这些你都会的话,那说明你只是停留在会用的阶段。如果你想要精通redis,并想在面试的中凭借Redis俘获面试官的芳心的话。

公众号:该用户快成仙了 178

征服Java面试官!mysql数据库安装失败

前言 在面经之前,我想从个人感受上说两点很重要的场外因素:面试节奏和心理准备!。 作为一名即将求职的程序员,面对一个可能跟近些年非常不同的2021 年,你的就业机会和风口会出现在哪里?在这种新环境下,工作应该选择大厂还是小公司?已有几年工作经验的老兵,又应该如何保持和提升自身竞争力,转被动为主动? 就目前大环境来看,跳槽成功的难度比往年高很多。一个明显的感受:今年的面试,无论一面还是二面,都很考验Java程序员的技术功底。 虚惊一场,差点挂在美团三面,罪魁祸首居然竟是“Redis”? 在找工作的过程中,

m0_57624732的博客 104

膜拜!清华大佬整理的史上最全面试题,征服面试官就靠它

面试题自己从网络上整理了一些,也从一些特殊的渠道拿到了一些大厂的面试真题,自己分门别类的整理,最终整理成册,这套面试题涵盖: Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、 Spring Boot、Spring Cloud、RabbitMQ、 Kafka、Linux等技术栈共1000余道题(是真的1000道啊),还有各个大厂的面试真题,也都有收录

m0_57042151的博客 226

二本渣渣的逆袭之路,苦战3月有余,3面蚂蚁金服后成功征服面试官拿下offer!

整体面试还是很不错,勉强上岸,打牢基础,并发,调优,JVM这些都是必不可少的!总结最多的还是不够强!菜就要查漏补缺,不知道自己菜的人才最可怕,这次金九银十我已经跃跃欲试了在家也没少准备,下面分享下我的金九银十备战资源库。01 Java后端进阶必备笔记02 大厂面试真题解析03 跳槽解析,简历解析。

java_xiaoo的博客 418

java分模块开发的架构,征服Java面试官

前言 很多同学面对多线程的问题都很头大,因为自己做项目很难用到,但是但凡高薪的职位面试都会问到。。毕竟现在大厂里用的都是多线程高并发,所以这块内容不吃透肯定是不行的。 今天这篇文章,作为多线程的基础篇,先来谈谈以下问题: 为什么要用多线程? 程序 vs 进程 vs 线程 创建线程的 4 种方式? Java基础 1.JAVA 中的几种数据类型是什么,各自占用多少字节。 2.String 类能被继承吗,为什么。 3. 两个对象的 hashCode() 相同,则 equals() 也一定为 true,对吗?

m0_66803446的博客 502

大厂Java面试实录:面试官VS水货程序员谢飞机(第三集:高并发缓存篇)

互联网大厂Java面试场景还原,严肃面试官与搞笑程序员谢飞机的对话,涵盖Redis缓存架构、缓存穿透/击穿/雪崩、分布式锁、秒杀系统设计等高并发场景技术深度解析。

2301_80824309的博客 204

极限白板编程:P7架构师质疑设计,应届生手撕红黑树征服面试官

在一场紧张的终面中,应届生在白板编程环节被P7架构师质疑系统设计合理性。面对压力,他选择现场手撕红黑树,用精妙的实现征服了考官。过程中,他不仅展示了扎实的基础知识,还深刻分析了红黑树在高并发场景中的应用价值,最终赢得了面试官的认可。

Ared 367

Redis高频面试题深度拆解:从原理到实战的硬核指南

可以用zset的score分段策略,比如超过100万标记为"爆",500万标记为"沸",这些业务规则要封装在服务层!你以为的简单KV存储,其实藏着数据结构优化的超级大招!(敲黑板)单线程优势是避免上下文切换,但新版Redis 6.0开始支持多线程处理网络IO,这个知识点最近面试出现的频率暴涨300%!(血泪教训)AOF重写时会用新进程生成临时文件,如果同时触发RDB和AOF重写,小心你的磁盘IO被打满!举个栗子:快递驿站老板(Redis)不用挨个查快递(请求),快递到了自动亮灯通知,效率直接起飞!

pythonxiaowang8的博客 758

被阿里面试官征服了!万字详解微服务的哨兵机制,面试心得体会

前言 Spring 5 于 2017 年 9 月发布了通用版本 (GA),它标志着自 2013 年 12 月以来第一个主要 Spring Framework 版本。它提供了一些人们期待已久的改进,还采用了一种全新的编程范例,以反应式宣言中陈述的反应式原则为基础。几天前小编从朋友那边嫖来Spring5秘籍手册+知识导图,经过自己的梳理才发现,这完全就是真香现场!我爱了!咱今天就来挖掘真香现场——Spring5 一面(一个小时左右) 算法:写冒泡排序,问如何优化,简单讲了快排和堆排序的原理 数据库:解释左连

m0_56835488的博客 128

这35道面试题被称为“大厂面试官”的噩梦,刷完这些面试题,吊打大厂面试官,让他们跪在地上唱征服

你是不是在发愁大学的知识没有用武之地?有没有觉得Java_工程师竞争压力大,就业困难?不知道面试Java工程师 应该准备些什么?.... 现在一切都解决了!你想要的干货知识和面试题统统在这,快拿回去嚼烂吧! 如何保证redis高并发及高可用 如何保证缓存与数据库的数据一致性 redis有哪些数据类型,谈谈适用场景 Redis线程模型 分布式缓存的第一个问题 如何保证消息队列的高可用性 如何保证消息队列的顺序性 分布式搜索引擎的架构 分布式搜索引擎Elastic Search的.

tutouchengxuyua的博客 136
上一篇: Java程序员的必修课之Spring理解透彻了吗?不会还咋去面试?
下一篇: 我敢说这是Java面试史上最全的JAVA专业术语面试100问,先放50问
java架构那些事
博客等级 码龄6年 6粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值