mysql insert into (高并发插入时出现的问题) 解决


笔者最近工作中,遇到了一个问题就是笔者在给用户添加虚拟资源的时候出现了资源表中出现了uid 重复

如果按照代码梳理应该不会发生这种情况,但是抽奖程序在高量的并发下 出现了 用户id 重复

程序代码:


 $badge_data = DB::connection('active')->table('willow_player')->select('id', 'num')
                ->where('player_id', '=', $data['player_id'])
                ->first();
            if (!$badge_data) {
                //获取徽章总数
                DB::connection('active')->insert(['player_id'=>$data['player_id'],'num'=>0]);
                $data['badge_num'] = 0;
            } else {
                $data['badge_num'] = $badge_data->num;
            }

活动结束后查询资源表


也是笔者疏忽没有给用户id 加上 unique 索引

下面笔者就将改良后的代码奉上(好渣的代码!!)

if (!$badge_data) {
                //获取徽章总数
                $str = "insert ignore into willow_player values(null,"."'".$data['player_id']."'".",0)";
                DB::connection('active')->insert($str);
                $data['badge_num'] = 0;
            } else {
                $data['badge_num'] = $badge_data->num;
            }

如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用:

insert ignore into  (使用唯一索引再次插入相同的值会忽略提示*如果insert into 数据库会报错*,相同值不会插入但id指针会向后跳一位)

这样当有重复记录就会忽略,执行后返回数字0

顺利的解决的以上的问题

扩展:

insert ignore into 同样也可以应用到复制表中

eg:

模型   INSERT IGNORE INTO `table_1` (`name`) SELECT `name` FROM `table_2`;

 insert ignore into test.lalala (`name`) select `name` from dingdlog.d_user_register;  

#将dingdlog库下d_user_register 表中的 name字段插入到 test库lalala表下name 字段中,如果lalala表中有d_user_register中的数据 使用insert ignore into 不会插入相同的数据(要在name 上建立unique 索引哦)


使用 Replace

模型:

REPLACE INTO `table_name`(`col_name`, ...) VALUES (...);
REPLACE INTO `table_name` (`col_name`, ...) SELECT ...;
REPLACE INTO `table_name` SET `col_name`='value',


REPLACE的运行与INSERT很相像,但是如果旧记录与新记录有相同的值,则在新记录被插入之前,旧记录被删除,即:

尝试把新行插入到表中
当因为对于主键或唯一关键字出现重复关键字错误而造成插入失败时:
从表中删除含有重复关键字值的冲突行
再次尝试把新行插入到表中
旧记录与新记录有相同的值的判断标准就是:
表有一个PRIMARY KEY或UNIQUE索引,否则,使用一个REPLACE语句没有意义。该语句会与INSERT相同,因为没有索引被用于确定是否新行复制了其它的行。

返回值:
REPLACE语句会返回一个数,来指示受影响的行的数目。该数是被删除和被插入的行数的和
受影响的行数可以容易地确定是否REPLACE只添加了一行,或者是否REPLACE也替换了其它行:检查该数是否为1(添加)或更大(替换)。

*******************************

ON DUPLICATE KEY UPDATE

如‍上所写,你也可以在INSERT INTO…..后面加上 ON DUPLICATE KEY UPDATE方法来实现。如果您指定了ON DUPLICATE KEY UPDATE,并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值,则执行旧行UPDATE。

例如,如果列a被定义为UNIQUE,并且包含值1,则以下两个语句具有相同的效果:

 代码如下 复制代码

INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=`c`+1; 
UPDATE `table` SET `c`=`c`+1 WHERE `a`=1;

如果行作为新记录被插入,则受影响行的值为1;如果原有的记录被更新,则受影响行的值为2。

注释:如果列b也是唯一列,则INSERT与此UPDATE语句相当:

 代码如下 复制代码

UPDATE `table` SET `c`=`c`+1 WHERE `a`=1 OR `b`=2 LIMIT 1;

如果a=1 OR b=2与多个行向匹配,则只有一个行被更新。通常,您应该尽量避免对带有多个唯一关键字的表使用ON DUPLICATE KEY子句。

您可以在UPDATE子句中使用VALUES(col_name)函数从INSERT…UPDATE语句的INSERT部分引用列值。换句话说,如果没有发生重复关键字冲突,则UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函数特别适用于多行插入。VALUES()函数只在INSERT…UPDATE语句中有意义,其它时候会返回NULL。

 代码如下 复制代码

INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3), (4, 5, 6) ON DUPLICATE KEY UPDATE `c`=VALUES(`a`)+VALUES(`b`);

本语句与以下两个语句作用相同:

 代码如下 复制代码

INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=3; 
INSERT INTO `table` (`a`, `b`, `c`) VALUES (4, 5, 6) ON DUPLICATE KEY UPDATE c=9;

注释:当您使用ON DUPLICATE KEY UPDATE时,DELAYED选项被忽略。

示例:
这个例子是我在实际项目中用到的:是将一个表的数据导入到另外一个表中,数据的重复性就得考虑(如下),唯一索引为:email:

 代码如下 复制代码

INSERT INTO `table_name1` (`title`, `first_name`, `last_name`, `email`, `phone`, `user_id`, `role_id`, `status`, `campaign_id`) 
    SELECT '', '', '', `table_name2`.`email`, `table_name2`.`phone`, NULL, NULL, 'pending', 29 FROM `table_name2` 
    WHERE `table_name2`.`status` = 1 
ON DUPLICATE KEY UPDATE `table_name1`.`status`='pending'

再贴一个例子:

 代码如下 复制代码

1 INSERT INTO `class` SELECT * FROM `class1` ON DUPLICATE KEY UPDATE `class`.`course`=`class1`.`course`

其它关键:DELAYED  做为快速插入,并不是很关心失效性,提高插入性能。 
IGNORE  只关注主键对应记录是不存在,无则添加,有则忽略。

更多信息请看:  http://dev.mysql.com/doc/refman/5.1/zh/sql-syntax.html#insert

特别说明:在MYSQL中UNIQUE索引将会对null字段失效,也就是说(a字段上建立唯一索引):

 代码如下 复制代码

1 INSERT INTO `test` (`a`) VALUES (NULL);

是可以重复插入的(联合唯一索引也一样)。







### Java与MySQL高并发插入操作最佳实践 #### 数据库连接池配置 为了提高性能并减少资源消耗,在Java应用程序中应使用数据库连接池来管理到MySQL服务器的连接。合理设置最大活跃连接数、最小闲置连接数以及超间等参数可以有效提升系统的吞吐量和响应速度[^1]。 ```java HikariConfig config = new HikariConfig(); config.setJdbcUrl("jdbc:mysql://localhost:3306/test"); config.setUsername("root"); config.setPassword("password"); // 设置合理的连接池大小 config.setMaximumPoolSize(20); DataSource dataSource = new HikariDataSource(config); ``` #### 批处理插入语句 当执行大量数据写入,采用批量提交的方式能够显著降低网络开销,并减轻数据库的压力。通过PreparedStatement预编译SQL语句,并利用addBatch()方法累积多条记录后再一次性发送给MySQL执行,可获得更好的效率。 ```java String sql = "INSERT INTO users (name, age) VALUES (?, ?)"; try (Connection conn = dataSource.getConnection()) { try (PreparedStatement pstmt = conn.prepareStatement(sql)) { for (int i = 0; i < batchSize; ++i) { pstmt.setString(1, names[i]); pstmt.setInt(2, ages[i]); pstmt.addBatch(); if ((i + 1) % batchLimit == 0 || i == batchSize - 1) { pstmt.executeBatch(); // 提交批次 } } } } ``` #### 使用事务控制 对于涉及多个表更新的操作场景下,开启显式的事务可以帮助保持数据的一致性和完整性。同适当调整隔离级别可以在一定程度上缓解锁竞争带来的负面影响,从而优化整体性能表现。 ```sql START TRANSACTION; -- 多条DML语句... COMMIT; ``` #### 避免哈希映射作为查询结果类型 考虑到线程安全性和扩展性方面的要求,不建议直接将HashMap或HashTable用于存储来自数据库的结果集。推荐选用更合适的集合类如ArrayList或者专门设计的数据结构来进行封装处理[^3]。 #### 表结构设计考量 针对频繁发生的插入请求,应该仔细规划索引策略以平衡读取和写入之间的关系;另外还可以考虑分区技术(Partitioning),按照一定规则拆分大表成若干个小部分以便于管理和访问控制。 #### 字符编码注意事项 如果业务逻辑涉及到中文字符或者其他非ASCII码范围内的文字,则需要注意设定正确的字符集支持。例如`UTF8MB4`能更好地兼容表情符号等特殊字符而不丢失信息[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值