讲讲insert on duplicate key update 的死锁坑

最新推荐文章于 2025-03-15 16:56:37 发布
最新推荐文章于 2025-03-15 16:56:37 发布
阅读量2.2w 收藏 54
点赞数 14
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/li563868273/article/details/105213266
版权
在高并发场景下，利用`insert on duplicate key update`语句时，可能出现死锁问题。文章通过分析事务锁情况，揭示了在RR隔离级别下，由于gap锁的存在导致的死锁现象，并提供了相应的解决方案，包括降低隔离级别、避免使用该语句等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.背景

最近有一些活动，于是会对系统做一些平时量比较小的路径做一些打压，这不打压还好，这一打压就出现了奇怪的问题，居然有一段陈年老代码出现了死锁的问题，日志如下：

看见了日志之后，就踏上了死锁的排查之路。当然如果你对锁不是很熟悉的话你可以先看我的这两篇文章看一下数据库锁的基础知识: 为什么开发人员必须要了解数据库锁：和记一次神器的mysql死锁排查

2.问题分析

数据库代码如下：

CREATE TABLE `order_extrainfo` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `orderId` int(11) NOT NU
最低0.47元/天 解锁文章
li563868273
关注
insert on duplicate key update命令
森伯416的博客
11-03 2322
这里写目录标题背景介绍实现方式先判断再操作insert on duplicateActioninsert on duplicate update 命令的原理，以及如何保证原子性？ 背景介绍 有一批消息队列任务要执行，需要记录任务相关的数据，包括执行总数、成功数、失败数。这里采用mysql统计表的方式记录，每一批任务生成一条统计数据，但由于消息队列是无序的，所以生成统计记录的时候无法知道哪一个请求是第一次，也就不知道是 insert 还是 update。 简单列一下统计表字段 CREATE TABLE `t_
insert duplicate key update 死锁分析
apdoer
12-23 2418
背景 线上发现mysql 数据库报错死锁日志,版本为5.7.25,默认隔离级别为rr,具体的错误日志就不贴出来了,原因是有同事使用了insert duplicate key update语法,进行存在就更新的操作 那么问题来了,应该从哪入手呢 先通过show engine innodb status看看死锁日志吧,我在这都加上注释了,并且去掉了无关信息 LATEST DETECTED DEADLOCK ------------------------ //死锁发生的时间 utc时间 2020-12-21 1
Mysql 死锁案例6-并发 insert on duplicate key 导致的死锁
meser88的博客
03-14 1266
mysql 5.7.12 ,事务隔离级别RRBEGIN;SHOW ENGINE INNODB STATUS 死锁日志。
INSERT ... ON DUPLICATE KEY UPDATE
zzw_17600691357的博客
03-15 707
INSERT ... ON DUPLICATE KEY UPDATE存在的问题
INSERT ... ON DUPLICATE KEY UPDATE产生death lock死锁原理
热门推荐
码农的世界你不懂
11-05 4万+
我们在实际业务场景中，经常会有一个这样的需求，插入某条记录，如果已经存在了则更新它如果更新日期或者某些列上的累加操作等，我们肯定会想到使用INSERT ... ON DUPLICATE KEY UPDATE语句，一条语句就搞定了查询是否存在和插入或者更新这几个步骤，但是使用这条语句在msyql的innodb5.0以上版本有很多的陷阱，即有可能导致death lock死锁也有可能导致主从模式下的replication产生数据不一致。
聊一聊 insert on duplicate key update 下的死锁场景
weixin_40903413的博客
11-05 3801
理论上，insert on duplicate key 的执行过程中加锁顺序一致，并且对唯一索引加Record Lock 不存在唯一索引的风险，但是生产中近来出现了多次该场景下的DEADLOCK，在这里借着这个场景聊聊一些知识点以及排查问题的思路
Insert into on duplicate key update 死锁问题解析
Y_eatMeat的博客
10-18 1457
Insert into on duplicate key update 死锁问题解析
MySQL5.7并发INSERT ON DUPLICATE KEY UPDATE导致死锁
weixin_33722405的博客
05-05 4888
2019独角兽企业重金招聘Python工程师标准>>> ...
mysql 5.7 并发刷新_MySQL5.7并发INSERT ON DUPLICATE KEY UPDATE导致死锁
weixin_42376614的博客
01-19 1040
背景MySQL5.7版本多个线程并发往同一个数据间隙INSERT …… ON DUPLICATE KEY UPDATE，执行的是insert时产生死锁死锁场景复现环境： mysql5.7,事务隔离级别REPEATABLE-READ表结构：CREATE TABLE `a1` (`id` int(11) NOT NULL AUTO_INCREMENT,`uid` int(11) NOT NULL,PR...
mysql使用INSERT INTO ON DUPLICATE KEY UPDATE导致dead lock分析和解决
猫小妖的专栏
03-16 4572
一.事件回放 2019年1月的几天时间里每天会收到1次或者2次死锁的短信告警，死锁日志如下图。 二、检查业务场景和程序处理流程 用户打赏礼物请求处理，涉及到用户余额表和佣金账户表，以下所有操作在一个事务里，事务的隔离级别是read-commited,前一个操作执行成功才会继续下一个步骤否则抛出异常回滚事务： 1.扣除用户余额账户金额 2.增加陪玩佣金账户金额 3.增加公会佣金账户金...
INSERT ... ON DUPLICATE KEY UPDATE死锁原理
抽象的螺旋
06-17 4709
INSERT ... ON DUPLICATE KEY UPDATE死锁原理
INSERT ... ON DUPLICATE KEY UPDATE ... 批量插入与更新(存在则更新，不存在则插入)
riemann_的博客
03-06 6153
一、前言 作为后台开发，相信大家在做业务开发时，经常会遇到这样的场景。那就是数据库没有该数据的话就做插入操作，有的话就做更新操作。 方法1：遍历集合，判断里面的对象是否存在 存在则单个update，不存在则单个insert。这样的逻辑看着貌似没问题，其实问题大着呢。要是数据量多的话，你哟一个个判断，一个个执行update或者insert操作，这样频繁操作数据库的话，性能影响超级大，直接会超时。所以...
mysql INSERT ... ON DUPLICATE KEY UPDATE语句
左雪菲的专栏
05-02 3万+
网上关于ON DUPLICATE KEY UPDATE大多数文章都是同一篇文章转来转去，首先这个语法的目的是为了解决重复性，当数据库中存在某个记录时，执行这条语句会更新它，而不存在这条记录时，会插入它。 相当于 先判断一条记录是否存在，存在则update，否则insert。其语法是： INSERT INTO tablename(field1,field2, field3, ...) VAL
Mysql中replace与replace into的用法讲解
hellenlee22的博客
11-22 518
今天小编就为大家分享一篇关于Mysql中replace与replace into的用法讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧 Mysql replace与replace into都是经常会用到的功能；replace其实是做了一次update操作，而不是先delete再insert；而replace into其实与insert into很相像，...
INSERT ON DUPLICATE KEY UPDATE
qq_43632987的博客
01-04 2394
在执行Replace后，系统返回了所影响的行数，如果返回1，说明在表中并没有重复的记录，如果返回2，说明有一条重复记录，系统自动先调用了Delete删除这条记录，然后再记录用Insert来插入这条记录。使用Replace插入一条记录时，如果不重复，Replace就和Insert的功能一样，如果有重复记录，Replace就使用新记录的值来替换原来的记录值。场景大概是这样的，业务方的需求是查询一条语句在不在，如果在就给出一个update语句，更新这条记录，如果不在，就给出一个insert语句，插入这条记录。
INSERT ON DUPLICATE KEY UPDATE插入意向锁与gap锁引起的死锁
最新发布
03-22
### INSERT ON DUPLICATE KEY UPDATE 中插入意向锁和 Gap 锁导致死锁的原因 在 MySQL 的 InnoDB 存储引擎中，`INSERT ... ON DUPLICATE KEY UPDATE` 是一种常见的操作模式。然而，在高并发环境下，这种语句可能会引发死锁问题。以下是关于其死锁原因以及解决方案的具体分析。 #### 死锁的根本原因 InnoDB 使用两阶段锁定协议来管理事务中的锁请求。当 `INSERT ... ON DUPLICATE KEY UPDATE` 被执行时，如果目标记录不存在，则会尝试向唯一索引的间隙（Gap）加锁以防止其他事务在同一位置插入相同的数据[^1]。具体来说： - **Gap Lock**：用于阻止其他事务在指定范围内的间隙插入新记录。 - **Insert Intention Lock**：这是一种特殊的 Gap Lock，表示某个事务打算在一个特定的位置插入一条记录。它与其他 Insert Intention Lock 或者更强的 Gap Lock 不兼容[^3]。 当两个或更多事务试图通过 `INSERT ... ON DUPLICATE KEY UPDATE` 向同一间隙插入数据时，它们可能分别持有不同的锁并相互等待对方释放资源，从而形成死锁情况[^2]。 #### 解决方案 针对上述提到的由插入意向锁和 Gap 锁引起的死锁现象，可以采取以下几种措施来进行优化和规避: 1. **调整业务逻辑减少竞争** 尽量设计应用程序使得不同事务不会频繁地争抢相同的行或者区间。可以通过预分配 ID 值等方式降低热点区域的压力。 2. **更改隔离级别** 默认情况下，InnoDB 运行于可重复读 (Repeatable Read, RR) 隔离级别之下。虽然这提供了较高的一致性保障但也增加了发生死锁的可能性。考虑将某些不敏感的操作降级至读已提交(Read Committed, RC)，这样能有效减少不必要的锁开销。 3. **显式控制事务顺序** 如果能够预测哪些事务之间可能存在潜在冲突，则可以在编码层面强制规定这些事务按照固定次序访问共享资源，进而避免循环依赖关系的发生。 4. **重试机制** 对于不可避免会出现少量随机性死锁的应用场景而言，实现自动化的失败处理流程不失为一个简单有效的办法——即捕获异常后适当延迟再重新发起受影响的操作直至成功为止。 5. **升级数据库版本** 新版 MySQL 和 MariaDB 已经对此类问题做了不少改进工作；因此建议尽可能保持软件处于最新稳定状态以便利用官方提供的修复补丁和技术支持。 ```python try: cursor.execute(""" INSERT INTO table_name (column_list) VALUES (%s,%s,...) ON DUPLICATE KEY UPDATE column=value; """, value_tuple) except OperationalError as e: if 'Deadlock' in str(e): time.sleep(random.uniform(0.1, 0.5)) # Randomized backoff strategy retry_logic() # Recursive call or other recovery method else: raise # Re-throw unexpected errors ```
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值