Redis分布式锁故障,我忍不住想爆粗...

【AI助力科研】不看一篇文献,手把手教你用chatGPT写文献综述! 这篇文章以【AI助力科研】为题,介绍了如何利用ChatGPT编写文献综述的方法。作者通过详细的指导,展示了不需要阅读大量文献,只需依靠ChatGPT模型即可完成文献综述的过程。该方法旨在提高科研工作者的效率,减少阅读负担,并且能够生成具有逻辑性和准确性的文献综述。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:c1n.cn/OZvGN

afce0dfb0e3efb8e75058763b86f18c9.jpeg


背景

企微报警群里连续发出生产环境报错警告,报错核心信息如下:

redis setNX error java.lang.NumberFormatException: For input string: "null"
  at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
  at java.lang.Long.parseLong(Long.java:589)
  at java.lang.Long.parseLong(Long.java:631)
......

经异常信息定位,发现是项目中自定义的 Redis 分布式锁报错,并且该异常是在最近需求上线后突然出现,并且伴随该异常出现的,还有需求涉及的业务数据出现部分错乱的问题。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

问题分析

老规矩,先贴涉及代码:

//切面
public class RedisLockAspect{
  public void around(ProceedingJoinPoint pjp) {
    String key = "...";
    try {
      //阻塞,直到获取锁为止
      while (!JedisUtil.lock(key, timeOut)) {
        Thread.sleep(10);
      }
      //执行业务逻辑
      pjp.proceed();
    }finally {
      JedisUtil.unLock(key);
    }
  }
}

以上为自定义 Redis 分布式锁的切面,不看细节,只看整体逻辑,问题不大。

那再看实际加锁方法:

public class JedisUtil{
  public static boolean lock(String key, long timeOut){
        long currentTimeMillis = System.currentTimeMillis();
        long newExpireTime = currentTimeMillis + timeOut;
        RedisConnection connection = null;
        try {
            connection = getRedisTemplate().getConnectionFactory().getConnection();
            Boolean setNxResult = connection.setNX(key.getBytes(StandardCharsets.UTF_8), String.valueOf(newExpireTime).getBytes(StandardCharsets.UTF_8));
          //位置1
            if(setNxResult){
                expire(key,timeOut, TimeUnit.MILLISECONDS);
                return true;
            }
          //位置2
            Object objVal = getRedisTemplate().opsForValue().get(key);
            String currentValue  = String.valueOf(objVal);
          //位置3,异常位置为if判断中Long.parseLong(currentValue),currentValue为null的字符串
            if (currentValue != null && Long.parseLong(currentValue) < currentTimeMillis)  {
                String oldExpireTime = (String) getAndSet(key, String.valueOf(newExpireTime));
                if (oldExpireTime != null && oldExpireTime.equals(currentValue)) {
                    return true;
                }
            }
        }
        return false;
    }

  public static void unLock(String key){
    getRedisTemplate().delete(key);
  }
}

有经验的大佬看到这段代码,估计会忍不住爆粗,但咱先不管,先看错误位置。

异常信息可以看出,currentValue 的值为字符串“null”,即 String.valueOf(objVal) 中的 objVal 对象为 null,也就是在 Redis 中,key 对应的 value 不存在。

此时思考一下,key 对应的 value 不存在,无非以下两种情况:

  • key 被主动删除

  • key 过期了

继续跟着代码往上走,发现前面执行了 setNx 命令,并且返回 setNxResult 表示是否成功。

正常来说,当 setNxResult 为 false 的时候,加锁失败,此时代码时不应该往下走的,但在本段代码中,却继续往下走!

问了下相关同事,说是为了做可重入锁......(弱弱吐槽下,可重入锁也不是这样干的啊...)

其实分析到这,已经可以知道是什么原因导致的异常故障了,即上面说的,key 被主动删除、key 过期导致。

下面假设有两个线程,对同一个 key 加锁,分别对应以上两种情况:

①key 被主动删除的情况, 发生于分布式锁加锁逻辑执行完后,调用 unlock 方法,见以上 RedisLockAspect 类中 finally 部分,如下图:

14a8acd34271ba403f72132c6b374b25.png

②key 过期的情况, 主要在线程加锁并设置过期时间后,执行业务代码耗费的时间超过设置的锁过期时间,并且在锁过期前,未对锁进行续期:

eb5c2cb192b7f5bdeeca20563f587d17.png

基于微服务的思想,构建在 B2C 电商场景下的项目实战。核心技术栈,是 Spring Boot + Dubbo 。未来,会重构成 Spring Cloud Alibaba 。

项目地址:https://github.com/YunaiV/onemall

解决方案

从上面的代码看来,这已经不是简单的 Long.parseLong("null") 问题了,这是整个 Redis 分布式锁实现的问题。

并且该分布式锁在整个项目中大量使用,可想而知其实问题非常严重,如果只是解决 Long.parseLong("null") 的问题,无疑就是隔靴挠痒,没有任何意义的。

一般情况下,自定义 Redis 分布式锁容易出现以下几大问题:

  • setNx 锁释放问题

  • setNx Expire 原子性问题

  • 锁过期问题

  • 多线程释放锁问题

  • 可重入问题

  • 大量失败时自旋锁问题

  • 主从架构下锁数据同步问题

结合以上故障代码,可以发现项目中的 Redis 分布式锁实现几乎未对 Redis 分布式锁问题进行考虑。

以下为主要问题以及对应解决方案:

  • setNx 和 expire 原子操作: 使用 Lua 脚本,在一次 Lua 脚本命令中,执行 setNx  与 expire 命令,保证原子性。

  • 锁过期问题: 为防止锁自动过期,可在锁过期前,定时对锁过期时间进行续期。

  • 可重入问题: 可重入设计粒度需到线程级别,可在锁上加上线程唯一 id。

  • 锁自旋问题: 参考 JDK 中 AQS 设计,实现获取锁时最大等待时长。

对于项目中的问题以及每个问题的解决方案实现,baidu 一下就有大量参考,此处不再介绍。

目前比较成熟的综合解决方案为使用 Redisson 客户端,以下为简单伪代码 demo:

public class RedisLockAspect{
  @Autowired
  private Redisson redisson;

  public void around(ProceedingJoinPoint pjp) {
    String key = "...";
    Long waitTime = 3000L;
    //获取锁
    RLock lock = redisson.getLock(key);
    boolean lockSuccess = false;
    try {
      //加锁设置超时时间,防止无限自旋。默认启用看门狗功能(自动对锁进行续期)
      lockSuccess = lock.tryLock(waitTime);
      //执行业务逻辑
      pjp.proceed();
    }finally {
      //解锁,防止释放其他线程锁
      if (lock.isLocked() && lock.isHeldByCurrentThread() && lockSuccess){
          lock.unlock();
      }
    }
  }
}

使用 Redisson 可以快速解决目前项目中 Redis 分布式锁存在的问题。除此之外,对于 Redis 主从架构下数据同步导致的锁问题,对应的解决方案 RedLock,也提供了相应的实现。

更多使用文档详见官方文档:

https://github.com/liulongbiao/redisson-doc-cn

总结

对于分布式锁来说,可实现方案其实远远不止 Redis 这个实现途径,比如基于 Zookeeper、基于 Etcd 等方案。

但其实对于目的来说,都是殊途同归,重点在于,如何安全、正确的使用这些方案,保证业务正常。

对于研发团队来说,针对类似的问题,需要对技术小伙伴进行培训,不断提升技术,更需要重视 codereview 工作,及时识别风险,避免发生故障造成严重损失(本次故障造成脏数据修复耗时一个多星期)。

敬畏技术,忠于业务。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

be874ebbbcb280aad289f1102b4482f2.png

已在知识星球更新源码解析如下:

97332a4ca88ecec413d73aef01deacee.jpeg

9b222c833d00a091572efad2d042f1a6.jpeg

ffd0150e8d33cd5d751f41442712e067.jpeg

0d1c6aa819470d9cedea446dda9fac34.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
锐捷交换机堆叠配置举例 一、组网需求: 1)四台S2628G进行堆叠; 2)设备在堆叠前先设置好优先级; 3)使用光口堆叠的设备如RG-S2928G-E相关配置 二、组网拓扑 三、配置要点: 普通堆叠设备不需要配置,只要把堆叠模块和线缆连接好即可 堆叠模块不支持热插拔,即插在模块连上线缆后不能立即生效,需要重启设备才生效。 如果拔掉堆叠插槽后,想再插上模块堆叠,那么必须重启设备才生效 设备堆叠需要协商参数,时间会比较久,请耐心等待 堆叠时设备建议是... 阅读详情

相关推荐

【AMD显卡在WIndow10/11部署带GPU支持的深度学习环境(Pytorch-DirectML篇)】

这篇是之前Tensorflow-DirectML的姊妹篇,如果对TF感兴趣的可以搜索我的博文。 首先我们丢一个官网地址,但是官网那个会误导新人如果你按那个操作的话。 https://docs.microsoft.com/en-us/windows/ai/directml/gpu-pytorch-windows 这里用我的方法操作: 首先声明一下,因为我的显卡是AMD RX6600,不带XT(性能和RTX3060 12G版本半斤八两),所以目前没有最新的WSL2驱动,如果有了的话欢迎告知我,所以我这里就.

weixin_44029053的博客 2万+

关于java.lang.NumberFormatException: For input string:${redis.maxIdle}的报错

项目通用文件配置目录   reids配置文件 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:...

m0_37768843的博客 9437

告别谷歌翻译失效!手把手教你用Immersive Translate插件实现双语网页阅读(附Chrome/Edge/Firefox保姆级配置)

本文详细介绍了如何使用Immersive Translate插件实现双语网页阅读,解决谷歌翻译失效的问题。通过Chrome、Edge和Firefox的保姆级配置指南,帮助用户轻松安装和使用这款支持双语对照、智能识别网页内容的翻译插件,提升外文资料阅读效率。

weixin_28683689的博客 488

记一次自定义 Redis 分布式锁导致的故障

点击上方关注 “终端研发部”设为“星标”,和你一起掌握更多数据库知识背景企微报警群里连续发出生产环境报错警告,报错核心信息如下:redis setNX error java.lang.NumberFormatException: For input string: "null" at java.lang.NumberFormatException.forInputString(NumberFo...

这个时代,作为程序员可能要学习小程序 353

R语言dlnm包避坑指南:手把手教你配置交叉基矩阵(附温度分层与滞后多项式设置)

本文详细介绍了R语言dlnm包在配置交叉基矩阵时的实用技巧与避坑指南,特别针对温度分层与滞后多项式设置提供了具体参数配置建议。通过解析`crossbasis()`函数的核心参数、温度分析的分层策略以及不同基函数的适用场景,帮助研究者高效构建分布滞后非线性模型,避免常见错误并优化模型性能。

weixin_34094282的博客 403

C++动态规划详解

动态规划思想 一、动态规划概念: 动态规划(dp)是研究多步决策过程最优化问题的一种数学方法。在动态规划中,为了寻找一个问题的最优解(即最优决策过程),将整个问题划分成若干个相应的阶段,并在每个阶段都根据先前所作出的决策作出当前阶段最优决策,进而得出整个问题的最优解。即记住已知问题的答案,在已知的答案的基础上解决未知的问题。 在这类问题中,可能会有许多可行解。每一个解都对应于一个值,我们希望找到具有最优值的解。动态规划算法与分治法类似,其基本思想也是将待求解问题分解成若干个子问题,先求解子问题,然后

weixin_51951103的博客 2万+

记一次自定义Redis分布式锁导致的生产事件时间

经异常信息定位,发现是项目中自定义的Redis分布式锁报错,并且该异常是在最近需求上线后突然出现,并且伴随该异常出现的,还有需求涉及的业务数据出现部分错乱的问题。

java_beautiful的博客 178

Spring AI 项目实战(十):Spring Boot + AI + DeepSeek 构建智能合同分析技术实践(附完整源码)

摘要:基于Spring AI的智能合同审核系统开发 本文介绍了基于Spring Boot 3.2.0和Spring AI 1.0.0-M4构建的智能合同审核系统。系统采用分层架构设计,整合DeepSeek API实现文档解析、条款提取和风险分析功能。核心技术栈包括Spring AI、H2数据库、Apache POI/PDFBox等文档处理工具,实现了合同条款语义分析、异常识别和审核报告自动生成。项目解决了传统人工审核效率低、主观性强等问题,为合同管理提供了智能化解决方案。文章详细阐述了系统架构设计、技术选型

博客 656

记一次自定义Redis分布式锁导致的生产事件

对于分布式锁来说,可实现方案其实远远不止Redis这个实现途径,比如基于Zookeeper、基于Etcd等方案,但其实对于目的来说,都是殊途同归,重点在于,如何安全、正确的使用这些方案,保证业务正常。对于研发团队来说,针对类似的问题,需要对技术小伙伴进行培训,不断提升技术,更需要重视codereview工作,及时识别风险,避免发生故障造成严重损失(本次故障造成脏数据修复耗时一个多星期)。敬畏技术,忠于业务。

Cr1556648487的博客 221

MDIO接口协议与其详解——单片机

在单片机领域,通过MDIO接口可以与外部设备进行通信,实现对设备的控制和数据的读写。通过本文的介绍,你可以了解到MDIO接口协议的原理和使用方法,并参考源代码示例进行实际的开发和应用。具体的初始化方法与单片机的型号和开发环境有关,可以参考相应的单片机手册和开发工具的文档。(1)发送读取命令:向MDIO线发送读取命令,通常是发送一个特定的控制字节,用于指示要读取的寄存器地址。(1)发送写入命令:向MDIO线发送写入命令,通常是发送一个特定的控制字节,用于指示要写入的寄存器地址。二、MDIO接口协议使用方法。

web_class282的博客 2628

智能车图像处理22-进阶篇14--小s的判断

这篇文章中主要讲述智能车图像处理中 : 小s的判断方法。

taiyuezyh的博客 2575

各大主流编程语言性能PK,结果出乎意料

Hollis的新书限时折扣中,一本深入讲解Java基础的干货笔记!出品 | OSC开源社区(ID:oschina2013)“什么编程语言速度最快”,为了回答这个问题,The Benchmarks Game 专门面向主流编程语言设计了性能测试。测试的项目包括(可点击文末阅读原文查看详情):fannkuch-reduxn-bodyspectral-normmandelbrot...

HollisChuang's Blog 7613

视觉Transformer实战 | Data-efficient image Transformer(DeiT)详解与实现

在计算机视觉领域,Vision Transformer (ViT) 已经证明了纯 Transformer 架构在图像分类任务上的强大能力。然而,ViT 通常需要在大规模数据集上预训练才能达到最佳性能,DeiT (Data-efficient image Transformer) 通过引入一系列训练策略和优化,使得 Transformer 模型能够在相对较小的数据集上取得优异表现。本节将详细介绍 DeiT 的技术原理,并使用 PyTorch 从零开始实现 DeiT 模型。

盼小辉丶的博客 1344

HarmonyOS 分布式深度:跨端迁移、数据对象与多设备协同

本文深入解析鸿蒙分布式能力实战,聚焦跨端迁移、协同与共享三大形态,详解权限配置、设备发现、onContinue状态管理及分布式数据对象、KV同步机制。强调“先分清场景”“前置条件必全”“数据需重验”,揭示迁移失败、同步失效等七大常见坑,指导开发者规避陷阱,实现真实可用的多设备协同。

信息安全领域优质创作者|操作系统领域专家 149

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

OpenTelemetry 实战:打通日志、指标与分布式链路追踪

从 Trace、Span 和上下文传播开始,接着部署 Collector、接入 Java 自动埋点,并把指标交给 Prometheus、调用链交给 Jaeger。你会得到一条可逐段验证的遥测链路,也会知道日志关联、采样、敏感字段和高基数数据需要在哪些边界治理。

m0_62221377的博客 233

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

从单机到分布式:定时任务如何处理大量数据与执行失败?

所有子任务执行后,可以进入汇总阶段。统计成功数量。统计失败数量。汇总处理结果。判断是否需要触发后续任务。Reduce 不只是简单地把所有结果加起来。它还可以承担任务完成判断和后续流程衔接。另外,是否执行 Reduce、如何处理失败子任务,需要根据框架配置和业务逻辑设计。如果不需要汇总,可以使用只负责 Map 分发的模式。能力解决的问题任务调度什么时候执行任务分片工作如何分配批量处理如何控制单次处理的数据量失败恢复出错之后如何继续结果校验如何确认业务真正完成。

dshizixu的博客 198

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

EtherCAT从站实现(三):DC同步机制与分布式时钟实现

本文详解EtherCAT伺服从站DC同步机制,解决高精度控制中因主站抖动与传播延迟导致的相位偏差问题。通过ESC硬件维护1ns分辨率全局时间,实现从站自主同步,确保PDO更新与控制环采样精准对齐。核心流程包括传播延迟测量、时钟初始化、漂移补偿及SYNC0/SYNC1信号生成。从站需正确配置DC能力与同步模式,主站则通过DCM机制保障发送周期稳定。调试建议结合示波器与寄存器监控,分阶段验证时序关系,确保多轴协同无误。

yangmu3203的博客 163

分布式管控系统技术架构深度拆解:从编解码协议到SM4硬件级安全

支持音视频同步及异步切换、最大16路混音输出这些能力,在方案阶段是参数,在调试阶段是测试项。具备工程替代价值的节点应集成4路IR红外、2路RS232、4路I/O、2路继电器及1路RS485,这一档配置使节点具备直接驱动声、光、电及环境控制回路的能力,在中小型会议室场景中可以替代独立中控主机。H.265/H.264双标准支持是基础,每路视频的主码流与双码流独立控制(VBR/CBR)才是影响带宽规划的关键——双码流的意义在于将本地存储与远端预览的码率策略解耦,全局单一码率在多路并发场景下很难兼顾画质和带宽。

2603_95485477的博客 199

粮库分布式温湿度采集系统,基于环境数据的粮食霉变预警开发实战

本方案构建基于分布式温湿度采集的粮食霉变预警系统,针对传统粮库监测滞后、误报率高等痛点,通过分层布设传感节点、边缘计算网关与时序数据平台,融合温升速率、露点判别、多因子耦合等算法,实现从“静态监测”到“动态预警”的升级。系统支持平房仓、浅圆仓等多场景部署,具备国产化适配、断网续传、联动通风互锁等功能,结合工单闭环与模型迭代机制,显著提升储粮安全水平,为智慧粮库建设提供可复制的工程范式。

379

动环监控落地:多台以太网温湿度传感器分布式部署、IP 规划、告警配置

本文详解以太网温湿度传感器(H-THRJ45)在机房、库房等场景的动环监控落地实践,对比传统RS485方案,突出其PoE供电、分布式部署、免采集网关优势。重点分享架构设计、点位布设、静态IP规划、网络隔离、Zabbix告警配置及故障排查全流程,强调IP台账、命名规范与分级防抖告警策略,实现多点位高效管理。适用于运维、弱电工程及物联网开发者,助力构建稳定可扩展的环境监控系统。

weixin_41865733的博客 299

基于分布式软总线的鸿蒙跨端数据同步与冲突合并机制

更恐怖的是,有时候平板上修改的记录,连带把手机上的最新数据给直接抹除了。这就导致了灾难性的数据覆盖。假设用户的手机系统时间比平板快了五分钟,那么在这五分钟的窗口期内,用户在平板上做出的任何修改,在同步时都会被手机上的老旧数据无情覆盖。版本号相同但内容不同时,通过业务层的自定义策略进行合并,这才是分布式应用应有的数据一致性保障。痛定思痛,我们放弃了最粗暴的覆盖式同步,全面重构了基于底层分布式数据管理的冲突解决机制。),这样不仅同步极快,发生冲突时,也只会影响单条记录,而不会导致全局覆写。

2502_91284977的博客 280
上一篇: Redis 官方可视化工具,功能真心强大!高颜值
下一篇: 发现一款 JSON 可视化工具神器,太爱了!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值