项目乐观锁引发的问题

并发环境下乐观锁引发的挑战与解决方案
在项目中,乐观锁在并发操作时导致备份表出现大量状态为0的数据和严重的死锁问题。问题源自数据库主从同步延迟及二级索引导致的死锁。通过删除二级索引和引入Redis队列进行任务分配,解决了冲突和资源消耗,优化了系统性能。

前情提要:

由于回调节点随机,处理任务庞大而冗长,还可能造成kafka本地实现的队列占用内存过高。造成节点频繁宕机。
故需要切小回调数据文件,再进行各节点均分处理数据。分摊压力
由于回调数据量过大,需要分批保存到数据库再去处理,处理完成移入备份表。

大致过程如下

  1. 先查出A表状态为0的500条数据(按入表时间排序)
  2. 遍历改状态为1并根据版本号乐观锁更新
  3. 如果返回码是1,说明该节点操作成功
  4. 如果失败,不重复抢,直接进行下一条
  5. 进行数据处理,然后数据移到备份表
  6. 移到备份表步骤: 1. 根据id查,2插入备份表,3删除A表该条数据

生产出现的问题:

问题1: 备份表有很多状态为0的初始数据

解决方法:最终还是一位经验丰富的大神给出原因:

  1. 在我们第六步移动到备份表时候 查询会默认从库查询
  2. 由于我们有100+个节点并发操作 所以数据库主从同步就会有一定的时间差
  3. 所以查出的是从库A表该id未同步状态的数据信息,移动到备份表!

问题2:乐观锁冲突过大产生的问题

出现大量死锁,项目频繁查询超时,节点宕机,CPU飙升至150%

问题分析
乐观锁这个版本上了生产以后,由于更新语句中

UPDATE TABLE SET name='1',version=#{version} WHERE id=1 AND version=#{version}
### 乐观锁的实现机制及其是否会导致表锁定 #### 什么是乐观锁乐观锁(Optimistic Locking)是一种基于版本号控制的思想来解决并发问题的技术。其核心理念在于认为数据在大多数情况下不会发生冲突,因此不需要每次都加锁,在提交更新时再判断是否有冲突[^1]。 #### 乐观锁是否会锁表? 乐观锁本身并不会导致整个表被锁定。它的主要作用是对单条记录进行保护,而不是像悲观锁那样通过数据库层面的行锁或表锁来阻止其他事务的操作。具体来说: - **乐观锁的核心原理**:通常采用版本号或者时间戳的方式来进行控制。每一条记录都会增加一个版本字段 `version` 或者时间戳字段 `timestamp`。当事务尝试更新某条记录时,会比较当前版本号与取出的数据版本号是否一致。如果一致,则说明在此期间没有其他事务对该记录进行修改;如果不一致,则表示发生了并发冲突,此时可以选择重试或其他处理方式[^2]。 - **如何避免锁表?** - 使用乐观锁的情况下,即使多个事务同时访问同一条记录也不会引发死锁现象,因为它们只是简单地检查版本号并决定是否继续执行后续逻辑。 - 如果某个事务发现目标记录已经被另一个事务更改过,则可以直接放弃本次操作而无需等待对方完成解锁动作。 #### 数据库中的乐观锁实现 以下是几种常见的乐观锁实现方法: 1. **基于版本号 (Version Number)** 这是最常用的实现方式之一。每当有新的变更应用到这条记录上的时候,该版本号就会自动递增。查询语句中加入条件限制以确保只影响特定版本下的那部分数据集。 ```sql UPDATE table_name SET column=value, version=version+1 WHERE id=id AND version=current_version; ``` 2. **利用时间戳 (Timestamp)** 类似于版本号的概念,只不过这里使用的是精确的时间标记而非整数计数器。每次更新都将最新的系统时间为新值赋给对应列,并且同样需要验证旧值未发生变化才能成功提交改动请求。 ```sql UPDATE table_name SET column=value, update_time=CURRENT_TIMESTAMP() WHERE id=id AND update_time=old_update_time; ``` 3. **CAS算法 (Compare And Swap)** 在某些高级编程环境中还可以借助原子指令完成更细粒度级别的同步管理——即所谓的“比较交换”。这种方式能够有效减少因频繁轮询带来的资源浪费情况同时也提高了程序运行效率。 #### 关联至数据库事务 乐观锁常用于分布式环境下的高并发场景下作为替代方案存在。尽管如此,它仍然依赖底层支持良好的ACID特性的关系型数据库所提供的基础保障功能才能够正常发挥作用。例如在一个典型的JPA/Hibernate框架开发项目当中就可以很方便地配置启用此类特性从而简化业务层代码编写工作量的同时也增强了系统的稳定性和可靠性[^1]。 ```java @Entity public class ExampleEntity { @Id private Long id; private String data; @Version private int version; // Hibernate/JPA 自动维护此字段 public void setData(String newData){ this.data = newData; } } ``` 以上示例展示了如何定义实体类并通过标注@Version属性让ORM工具帮助我们自动化处理版本校验过程。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值