mysql数据库在高并发场景下重复插入如何保证唯一性解决方案
高并发场景
在高并发场景中,经常会遇到并发重复数据插入,没有唯一索引(比如有逻辑删除)却要保证唯一性的问题。比如分布式告警计算中,多个计算实例同时计算出同一个告警并同时插入相同的告警记录到数据库中,这时应该只插入一条记录。本文分析了在MySQL的InnoDB引擎中解决这类的问题的4种思路和相关方案。
简单粗暴
直接每条select, 判断,然后insert,毫无疑问,这是最笨的方法了,不断的查询判断,有主键或索引冲突,执行update,否则执行insert. 数据量稍微大一点这种方式就不行了。
前后端都做防重复操作
1、前端页面在表单提交后,把按钮置为disabled,短时间内不可重复点击提交数据
缺点:这种解决方案太依赖前端,并且无法保证刷新时重复提交表单
2、做表单防重复提交,在页面打开时,在session和页面中设置token,表单提交时判断token,并删除session中的token
缺点:目前的项目中没有先例,要解决防重复提交的问题应考虑整个项目的处理机制,不应特殊化某一功能,对后期维护不好,同时多个页面的token在session中也需要有不同的key,而项目部署时有多个实例,用session实现需要太多的前提条件
3、既然不通过防重复提交解决,那就解决并发问题吧,java中提供了java本身就提供了synchornized和Lock,不仅如此,mysql也提供了get_lock,release_lock方法,用以获取和释放锁
缺点:在业务代码中特殊处理了这一小部分代码会使代码整体风格变味,同时也一样避免不了去重的逻辑判断(比如通过填写的某些关键信息),所以也不是个好办法
4、mysql的unique_key天然提供了防重复的功能,最终选中unique_key来解决并发重复写入的问题。但在解决过程中要对程序做些改造,首先表单数据在保存时会有流水号信息,并且流水号在数据库中设置了unique_key,原先的程序流水信息是在信息保存时生成,改造后,在添加页面打开时就生成流水信息,并放置在表单的隐藏域内,表单提交后,只是原样保存提交过来的流水号,这样即使有多个同样的表单提交,最终也只会成功一笔,其他均会失败。
缺点:这么做的不足是流水号可能会被浪费,多次打开表单不提交时,流水号也会生成。另一不足,如果通过非正常手段,变更了流水号再提交,那也没办法阻止,因为对业务来说,不同流水号就被认为了不同的业务。
mysql表加唯一索引
针对不可重复的字段增加唯一索引
也可以将两个字段设置为唯一索引

使用redis缓存
在提交入库前增加redis缓存,重复数据加入到缓存中,并设置有效期,根据自己的业务可随机需要设定key的有效期,入库前检查key是否存在,存在则跳过,不存在则加入缓存,执行到mysql层,并入库,并且针对表添加唯一索引

在高并发场景中,确保数据唯一性是个挑战。本文探讨了四种解决方案:1)简单但低效的查询判断;2)前端防重复提交,包括页面禁用和token验证;3)使用Java锁或MySQL的get_lock;4)利用MySQL的唯一索引。最后,文章建议通过在关键字段上设置唯一索引和结合Redis缓存来有效防止重复插入。
1426

被折叠的 条评论
为什么被折叠?



