在MySQL中重复的插入数据不抛异常（性能待验证）

最新推荐文章于 2024-08-09 09:52:31 发布
最新推荐文章于 2024-08-09 09:52:31 发布
阅读量3.6k 收藏 3
点赞数
分类专栏： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jaryle/article/details/109648858
版权
本文介绍了在MySQL中处理重复数据的四种方法，包括：insert ignore、on duplicate key update、replace into以及insert if not exists。这些方法在数据存在主键或唯一索引时，可以避免插入异常，实现忽略、更新或替换已有数据的操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最常见的方式就是为字段设置主键或唯一索引，当插入重复数据时，抛出错误，程序终止，但这会给后续处理带来麻烦，因此需要对插入语句做特殊处理，尽量避开或忽略异常，下面我简单介绍一下，感兴趣的朋友可以尝试一下：

这里为了方便演示，我新建了一个user测试表，主要有id，username，sex，address这4个字段，其中主键为id（自增），同时对username字段设置了唯一索引：

01 insert ignore into（这个可以使用下）

即插入数据时，如果数据存在，则忽略此次插入，前提条件是插入的数据字段设置了主键和唯一索引，测试SQL语句如下，当插入本条数据时，MySQL数据库会首先检索已有数据（也就是idx_username索引），如果存在，则忽略本次插入，如果不存在，则正常插入数据：

02 on duplicate key update

即插入数据时，如果数据存在，则执行更新操作，前提条件同上，也是插入的数据字段设置了主键和唯一索引，测试SQL语句如下，当插入本条记录时，MySQL数据库会首先检索

最低0.47元/天 解锁文章
MYSQL多种插入或修改的语法特性详解(replace into/insert ignore into/insert into on duplicate key update)
没有永恒的博客
06-10 1561
 业务背景在我们平常的业务场景中,可能有很多时候,需要对库操作进行增(未存在相应数据行)或者修改(已存在相应数据行),这时候,有人就会想到不管什么语言,我先查相应的库有没有这条行数据,再根据结果进行操作,不就完事了吗(已有的数据则修改,没有的数据则新增).能想到解决方案是好的,但是这种,先查后增或改的方案,存在很大的弊端,原因如下:        1、你先查后操作,这并不是原子性的,在多个线程进行...
MySQL高频基本面试问题整理
热门推荐
张彦峰的博客
04-07 173万+
总结大厂MySQL高频基本面试问题整理，用于快速查缺补漏
在MySQL数据库中，这4种方式可以避免重复的插入数据！
qq_35956444的博客
10-20 320
https://mp.weixin.qq.com/s/W0Z0EkyEbbUt59yjHHPxcA
mysql update主键冲突_mysql主键重复,不报错,只更新的操作
weixin_35917193的博客
02-27 1916
项目中对接一个单点登陆的回调api,需要判断用户是否在库,不在库新增用户,在库更新登陆次数,大概代码如下：
mysql 8.x 中insert ignore的性能问题
kkk23333的博客
05-11 7409
mysql中replace into效率很差，多进程并发一下就会锁表，所以应该用on duplicate 来做更新，这是众所周知的了。没想到insert ignore也有性能坑，记录下遇到的问题。 为了往一张表中插入初始化数据，我开了10个进程并发向数据库中使用insert ignore插入数据，每条insert ignore语句包含7行数据。没想到上线开始跑脚本以后数据库出现不少锁表。根据innodb status log来看，锁住的是表的自增id主键。 调试了半天之后发现，原来是insert igno
SQL 语句之insert语句插入数据；若表中有重复的主键或数据插入的时候要求不能报错
Napster的专栏
03-14 2万+
已知条件：MySQL数据库 存在一张表，表名为teacher，主键为id，表中有4行数据select * from teacher;要求：要求使用数据库插入语句往表中插入数据，若需要插入表中的数据（或者数据的主键）如果已经在表中存在，那么要求SQL在执行的时候不能报错。例如：插入一行id=3，name=丁老师，salary=5000的记录，insert into teacher(id,name,s
10亿数据如何最快速插入MySQL？
abcafdsgr123456789的博客
08-09 1031
10亿数据如何最快速插入MySQL？
MySQL主从不一致问题相关处理
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
09-26 1万+
某业务采取mysql的主从架构，但因为存储的问题，导致备库一直无法存储，数据同步一致性问题一直也未恢复，某次安全检查要求完成主备倒换演练，必须限期恢复主备，但是在恢复过程中，同步显示正常一段时间后，便会出现sql线程异常，主备数据不一致导致的同步错误情况。主数据库上面设置的max_allowed_packet比从数据库大，当一个大的sql语句，能在主数据库上面执行完毕，从数据库上面设置过小，无法执行，导致的主从不一致。根据上面的NR行数，查看附近的行，定位数据不一致的地方，后续手动补全。
MySql在C#中的批量插入：最佳实践与性能调优指南
从基础概念出发，详细探讨了在C#中利用MySqlCommand和第三方库进行MySQL批量插入的方法，以及构建高效SQL语句和参数化查询的重要性。随后，本文深入分析了批量插入的实践技巧，包括手动方法、使用存储过程、以及高级...
MySQL避免重复插入数据的4种方式你是否都知道？
weixin_50205273的博客
09-09 554
MySQL避免重复插入数据最常见的方式就是为字段设置主键或唯一索引，当插入重复数据时，抛出错误，程序终止，但这会给后续处理带来麻烦，因此需要对插入语句做特殊处理，尽量避开或忽略异常，下面我简单介绍一下，感兴趣的朋友可以尝试一下： 这里为了方便演示，我新建了一个user测试表，主要有id，username，sex，address这4个字段，其中主键为id（自增），同时对username字段设置了唯一索引： 01 insert ignore into 即插入数据时，如果数据存在，则忽略此次插入，前提条件是
mysql的insert ignore插入问题
xiaobao5214的博客
08-08 4676
对于主键冲突的时候，自动忽略当前要插入的记录。违反唯一性约束的时候，同样丢弃当前要插入的数据。可以用在数据同步的场景，这个场景数据源只有insert 的操作，如果数据源含有update就会失败，不能同步update的更新字段。这样做到最终一致和幂等   insert into  表示插入数据，数据库会检查主键（PrimaryKey），如果出现重复会报错 insert ignore into 表...
MySQL中使用insert ignore解决数据重复插入问题【案例详解】
辰兮要努力
09-12 482
MySQL中使用insert ignore解决数据重复插入问题
MySQL insert ignore into的坑
a984171281的博客
06-25 3760
公司有个需求，场景是存在则忽略掉该条数据，否则写入表。第一反应是用MySQL的insert ignore into。可以发现，如果设定的唯一索引的字段是null的话，第二次写入还是null，mysql不会按照重复insert处理。不知道是不是我的处理有问题，但是根据我后来排查数据发现，MySQL就只有这几条是重复的。sql语句是这样的，就是按照mysql的ignore insert写法。首先，你得确认插入的时候，vlaue语法后面的几个字段必须是。这个是我测试用的表，可以看到这三个字段是联合唯一索引。
insert ignore into
兴趣是最好的老师
06-30 378
https://www.cnblogs.com/stevin-john/p/4768904.html
mysql 排除重复记录 insert 使用INSERT IGNORE into
创业的程序员
10-22 1万+
INSERT IGNORE 与INSERT INTO的区别 INSERT IGNORE 与INSERT INTO的区别就是INSERT IGNORE会忽略数据库中已经存在 的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。 eg: insert ignore into table(name) 
比较原生sql: insert ignore和api: saveOrUpdateBatch()的效率
weixin_46550521的博客
03-18 2858
闲来无事，随便搞搞 开发当中常用的批量去重插入一个是原生的sql:insert ignore into,另一个是mybatis-plus的api:saveOrUpdateBatch(),对于这两种写法，我比较关注的是他们的效率。 saveOrUpdateBatch()上示例 public Result<Long> getSpeed(){ /*Long s = cpuInfoService.getSpeed();*/ List<CpuInfo> list
【一天一坑系列】Mysql中INSERT IGNORE INTO插入时去重无效，插入了重复数据
Yangy的博客
12-06 993
今天刚好有一个需求，需要插入数据时去重。所以第一下就想到了insert ignore into方法，但是使用过程中，发现虽然设置了唯一键，但插入时还是出现了重复插入的情况。具体信息如下，表的约束设置如下：有一个主键，和一个唯一键索引idx_s******，这个唯一索引是一个组合索引，里面由4个字段组成。前面4个字段，就是唯一索引的组合字段，所以正常情况下，插入应该是可以达到去重的效果的。然鹅，测试插入时，重复数据还是出现了。。。瞬间懵逼，开始找原因咯~~~
MySQL中的insert ignore into讲解
一缕阳光的博客
04-26 4万+
最近工作中，使用到了insert ignore into语法，感觉这个语法还是挺有用的，就记录下来做个总结。 insert ignore into : 忽略重复的记录直接插入数据。 包括两种场景： 1、插入的数据是主键冲突时 insert ignore into会给出warnings，show warnings就可以看到提示主键冲突； [test]> create table tt(c1 int primary key, c2 varchar(50))engine = xx; Query
Atitit mysql insert perf enhance 批量插入数据库性能 目录 1.1. 案一：使用ignore关键字 1 2. 异步插入 2 2.1. 其它关键：DELAYED  做为
attilax的专栏
06-18 417
Atitit mysql insert perf enhance 批量插入数据库性能 目录 1.1. 案一：使用ignore关键字 1 2. 异步插入 2 2.1. 其它关键：DELAYED 做为快速插入，并不是很关心失效性，提高插入性能。IGNORE 只关注主键对应记录是不存在，无则添加，有则忽略。 2 2.2. 13.2.5.3 INSERT DELAYED语句异步 2 2.3. 多线程批量 java级别 5 3. other 5 3.1. Archil引擎 5 ...
sql server怎么在表中插入重复键
最新发布
04-01
### SQL Server 中处理主键冲突的解决方案 在 SQL Server 中，主键冲突是一个常见的问题，通常发生在尝试向具有主键约束的表中插入重复的主键值时。以下是针对此问题的一些常见方法及其适用场景。 #### 方法一：通过 `MERGE` 语句实现条件化插入 `MERGE` 是一种强大的语法工具，可以用于根据匹配条件执行不同的操作（如插入、更新或删除）。对于主键冲突的情况，可以在检测到重复主键时不执行插入操作，而是选择忽略或者更新现有记录[^3]。 ```sql MERGE INTO target_table AS Target USING (SELECT @key_value AS key_column, @other_value AS other_column) AS Source ON Target.key_column = Source.key_column WHEN NOT MATCHED THEN INSERT (key_column, other_column) VALUES (Source.key_column, Source.other_column); ``` 这种方法的优点在于它能够在单条语句中完成复杂的逻辑判断，适合批量数据导入场景。 --- #### 方法二：利用 `INSERT ... ON DUPLICATE KEY UPDATE` 虽然标准 T-SQL 并不支持 MySQL 的 `ON DUPLICATE KEY UPDATE` 语法，但可以通过模拟的方式来达到类似效果。具体做法是在捕获主键冲突错误后动态决定是否更新已有记录[^5]。 下面展示了一个基于 TRY...CATCH 结构的例子： ```sql BEGIN TRANSACTION; BEGIN TRY -- 尝试插入新记录 INSERT INTO table_name (primary_key_column, column1, column2) VALUES (@pk_value, @value1, @value2); END TRY BEGIN CATCH IF ERROR_NUMBER() = 2627 -- 主键冲突错误号 BEGIN -- 更新已有的记录 UPDATE table_name SET column1 = @value1, column2 = @value2 WHERE primary_key_column = @pk_value; END ELSE THROW; -- 抛出其他类型的异常 END CATCH; COMMIT TRANSACTION; ``` 这种方式允许开发者灵活控制发生冲突后的行为，比如仅覆盖某些字段而不是整个行的数据。 --- #### 方法三：提前验证是否存在重复项 另一种简单直接的办法就是在实际执行插入命令之前先运行一次查询来确认目标主键是否已经存在于当前表里。如果不存在，则正常继续；反之则跳过此次操作或是采取替代措施。 示例代码如下所示： ```sql IF NOT EXISTS ( SELECT 1 FROM table_name WHERE primary_key_column = @pk_value ) BEGIN INSERT INTO table_name (primary_key_column, column1, column2) VALUES (@pk_value, @value1, @value2); END ELSE BEGIN PRINT 'Record with this Primary Key already exists.'; END ``` 尽管易于理解且容易实施，但它可能带来性能上的开销特别是在大规模并发环境下由于额外增加了读取请求次数所致。 --- #### 方法四：调整事务隔离级别以减少假阳性冲突 有时即使物理上并没有真正意义上的重叠也会因为高并发环境下的锁定机制而导致看似无端的主键碰撞提示消息被触发出来。此时适当降低事务隔离等级或许能够缓解这一现象的发生频率[^1]。 例如，默认情况下SQL Server 使用的是可串行化的隔离级(Serializable)，这可能会导致不必要的悲观锁争用情况出现。改用读已提交(Read Committed) 或者快照隔离(Snapshot Isolation) 可能有助于改善这种情况: ```sql SET TRANSACTION ISOLATION LEVEL READ COMMITTED SNAPSHOT; GO ``` 需要注意的是更改默认配置需谨慎行事并充分测试其影响范围以免引发新的兼容性隐患等问题. --- ### 总结 以上介绍了四种主要应对策略分别适用于不同需求背景下的开发人员选用考虑因素包括但不限于业务复杂度要求效率优先还是准确性至上等等最终目的是找到最适合项目实际情况的最佳实践路径从而有效规避可能出现的各种潜在风险挑战达成预期成果目的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值