高并发下的数据重复插入问题解决

最新推荐文章于 2024-11-21 21:22:45 发布
原创 最新推荐文章于 2024-11-21 21:22:45 发布 · 2.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#database #mysql

本文探讨了在高并发环境中避免数据重复插入的问题，提出了五种解决方案。包括尝试使用索引、采用`REPLACE INTO` SQL语句、利用读写锁、以及通过Redis锁来控制并发。然而，加锁策略虽然能保证数据一致性，但可能导致接口响应时间增加。在实际应用中，需要权衡数据一致性和性能之间的平衡。
部署运行你感兴趣的模型镜像

高并发下的数据重复插入问题解决

方案1：索引

因为具体需求+数据库+业务逻辑等原因，无法作唯一索引来解决。其次在加索引之后，注意做好错误拦截，重复数据插入，数据库会直接报错

方案2：sql 语句 replace into 

方案3：加读写锁

当连续多次发送请求时,Golang http请求会导致EOF错误

先给方法加了局部锁，发现不管用，问题还存在，局部变量锁，一定程度上相当于没有加锁

后来验证加了全局锁，并发时发现，接口响应时间变长，数据可以保证并发只插入一条，但并发的接口耗时响应时间变长，锁的释放耗时，相当于排队，导致该问题出现。

加锁注意：一定要注意锁的释放，可以使用defer 来确保在函数内正确释放了锁

方案5：redis锁

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

针对并发流程，出现数据插入重复的情况做以下优化 postgresql
高考我军的博客
02-09 1529
针对并发流程，出现数据插入重复的情况做以下优化 postgresql
高并发情况下，创建和更新时，如何保证数据准确
杨杨杨~~的博客
09-22 862
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!简单来说，用户短时间发送两个请求:请求1: 修改字段flag为1请求2:修改字段flag为2首先请求1到了，字段flag更新为a，然后请求2到了，字段flag更新为b;简单来说，请求1到了，flag字段更新为a，然后请求2到了，falg字段更新为b，但是请求1更新成功的响应丢失了，调用方没有接受到成功响应，自动重试，flag又更新为a了。
并发insert情况下数据重复插入问题的解决方案
dichengyan0013的博客
05-21 1677
背景介绍 通常我们在接口里要保存一条数据时，会先判断该条记录在数据库里是否存在，如果不存在就插入，如果存在就返回已经存在。 就拿常见的工单来举例 Order order = orderService.getByOrderNum(ordernum); if(order == null){ orderService.save(neworder); }else{...
详解java解决分布式环境中高并发环境下数据插入重复问题
08-26
主要介绍了java解决并发数据重复问题 ，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
高并发下如何避免产生重复数据？
「 虚幻私塾」
06-14 681
最近测试给我提了一个bug，说我之前提供的一个批量复制商品的接口，产生了重复的商品数据。追查原因之后发现，这个事情没想象中简单，可以说一波多折。产品有个需求：用户选择一些品牌，点击确定按钮之后，系统需要基于一份品牌的商品数据，复制出一批的商品。拿到这个需求时觉得太简单了，三下五除二就搞定。我提供了一个复制商品的基础接口，给商城系统调用。当时的流程图如下： 如果每次复制的商品数量不多，使用同步接口调用的方案问题也不大。但由于每次需要复制的商品数量比较多，可能有几千。如果每次都是用同步接口的方式复制商品，可能会
 系统高并发出现 重复数据 怎么解决？
08-15 2558
系统高并发出现 重复数据 怎么解决？ 系统随着业务的增长,接口请求量也增加。最常见的问题数据重复，涉及到资金的影响就很大。还有问题就是查询少量的数据，要很长时间。其他还有其他一些问题。这次先介绍处理数据重复，响应时间长的问题。 1 数据重复问题处理 1.1 重复出现有以下原因 A前端按钮在用户点击后,没及时让按钮点击失效，用户网络卡，多次点击，就会出现重复。这种导致的，解决办法用户点击按钮后，让按钮点击失效。 B 脚本调用接口，同个时...
记一次 MySQL 并发时插入重复数据的解决方案
12-14
在IT行业中，数据库管理是关键任务之一，尤其是在高并发环境下，如何确保数据的一致性和完整性至关重要。本篇文章探讨了一次在MySQL并发操作中遇到的插入重复数据问题及其解决方案。 问题起源于一个名为`coolq_qq_...
SQLServer中防止并发插入重复数据的方法详解
12-16
当面临高并发环境时，防止重复数据的插入显得尤为重要。以下将详细介绍几种有效的方法来防止并发插入重复数据。 1. 使用Primary Key和Unique Key约束 主键（Primary Key）是表中的一个或一组列，它们的值必须唯一...
怎么解决java高并发时数据重复插入的问题
06-10
在Java高并发时，可以采用以下几种方式来解决数据重复插入的问题： 1. 数据库层面的唯一性约束：在数据库表中设置唯一性约束，可以防止插入重复数据。当重复插入时，数据库会抛出异常，可以通过捕获异常来解决。 2...
mysql 查询后, 不存在则插入记录, 但是在高并发时容易导致重复插入, 有什么解决办法吗
qq_37638125的博客
04-16 2719
高并发时查询插入问题
Java多线程:高并发下数据插入重复问题
hdxx2022的博客
01-18 3297
5) 即想提高效率不对方法添加synchronized，又想保证数据准确性，最后使用synchronized(siteId + uid) 在Controller层加锁(保证了只有重复数据被加锁,在Controller使用的原因是因为事务会在Service调用完毕才被提交，我实验过在Service同步，150并发会出现2条重复数据，因为事务还没来得及提交) 测试结果：测试了3次150并发 不到一秒的时间全部返回，结果1条登记成功，149条返回该作者已登记。因此确定了是多线程的并发导致了程序的判断逻辑失效。
多线程并发造成的数据重复问题解决方案参考(笔记记录)
最新发布
龚小帅的博客
11-21 1572
需要补充的关键点：当NULL值会导致索引失效、查询不命中或者业务规则不一致时，应该补充默认值。无需补充的关键点：如果NULL值在业务中是有效状态，且不会导致功能性问题，可以保留。最佳实践：补充历史数据前先分析业务需求，分批更新数据，并在测试环境中验证后上线，确保操作安全可靠。
高并发数据的重复写入问题
紫一的博客
03-30 700
高并发数据的重复写入问题 使用Redis的setnx来解决这个问题。setnx key value 若 value 存在 则返回 False.def db_op_thread_func(i, num_of_op): r = redis.Redis(host='redisHost', port=6379, db=0) conn = MySQLdb.connect(host="dbHost", port=3306, user="root", passwd="pass", db="blog")
高并发时，进行insert操作出现重复记录问题分析
hansam 的专栏
03-21 1万+
1.背景 在进行insert时，先query一下数据库，判断记录是否存在，如果存在，不执行插入操作。但是在数据量较大的时候，就会出现重复记录的问题。 if (bean != null) { map.put("msg", "failed"); return map; } repaymentDao.insert(repa
先查询后插入在高并发下重复插入问题解决
诗人不写诗
04-16 9196
很多业务场景下，有需要记录唯一性的需求，这个时候，业务代码的逻辑通常是先查询，存在则返回存在数据，不存在则插入数据。但是，在高并发场景下，多个线程进来，同时进行查询，此时都查询到没有记录，随后都进行插入，这样就会出现需要唯一约束的记录产生多条。虽然这种场景只会出现在记录不存在时且多个请求一起新增的情况下发生，概率虽小，根据墨菲定律，这种情况一定会发生。我们采取的策略也比较多，当前应用都是分布式服务，所以我们不考虑JVM锁的方式。 方案一 就是采取分布式锁，这种方案实现简单，但是对性能影响较大，因为99%
MySQL 并发场景下如何避免插入重复行
一介码农
11-07 4530
目录 文章目录目录场景问题解决方案LOCK TABLEINSERT IGNORE 场景 先查询，不存在则插入，存在则更新 更新需依赖于之前的记录并做复杂的计算，无法使用 “INSERT … ON DUPLICATE KEY UPDATE” 解决 问题 两个请求 A 和 B 如果同时到来，那么可能出现以下序列： A select 记录不存在 B select 记录不存在 A 插入 B 插入 ...
mysql高并发insert_解决高并发下insert到数据库表多条记录的问题
weixin_33728077的博客
02-19 2911
1.有种业务场景比如微信会员注册，我们首先判断openid在数据库表中是否存在如果存在则提示已经存在，否则注册一条会员记录。thinkphp5代码如下$openid='1111111';//查询openid是否存在$info=Db::table('test')->where('openid',$openid)->find();if(!empty($info)){echo'openid...
高并发场景下数据重复插入的问题
热门推荐
Leon的博客
05-08 2万+
高并发场景下，数据库经常会发生数据重复插入的问题，这时候单单在插入前，查询数据库，判断是否存在，再进行插入，往往不能保证数据唯一性。 查询数据库判断是否存在 测试代码： th_insert_test.py 每次插入前，去数据库查询，要插入的 User0-9 是否存在，若不存在则插入，若存在，则返回已经有。 #-*- coding:utf8 -*- def db_op_thread_func...
该问题应该可以归纳为并发导致的数据库数据重复
denglirong_blog的博客
12-29 788
问题描述：在给移动端做一个收藏功能的时候，正常情况下，登录人点击收藏按钮调用收藏接口，再点击调用取消收藏接口，收藏时不能重复收藏（这个开始时是在程序里做的判断，即添加数据的时候根据登录人id和被收藏人的id来判断是否要收藏该人）。但是，当移动端猛戳收藏按钮的时候，就出现数据重复的情况。 解决办法：使用Hibernate 注释 唯一键约束 uniqueConstraints
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值