6.824 Lab4: Cache Locks回顾

本文探讨了在分布式文件系统中,为了保证一致性而采用的缓存锁策略。通过允许客户端在本地持有锁,减少了不必要的网络开销。当锁不再使用时,客户端可以通过TCP连接通知锁服务器。在锁的分配与释放过程中,处理了并发请求和锁的优先级问题,确保了系统的正确运行。

在该项目中,server扮演的是分布式文件系统的角色,为了保证consistency,所有client对文件的访问及修改需要首先申请对应资源的锁--每个资源,无论是文件还是目录,都有它自己的id和锁。


锁的分配与释放,可以是基于严格一致性(任何时候,用户修改了某个资源,则该资源的最新值是所有用户都可见的)的:用户申请资源时,从lock server获取锁;资源使用完毕后,将锁释放,返回给lock server。但是这样可能会带来很多不必要的网络开销:设想一个client有若干个独立线程,每个线程都想访问资源A,在严格一致性的要求下,每个线程需要单独的向lock server去申请使用锁,然后释放给lock server。有N个线程,就意味着有2N次网络请求。



其实可以将一致性的要求稍稍放宽,当client申请到锁以后,可以把锁看作是进程资源,而非线程资源。当某一个线程释放锁时,并不是把锁直接返还给lock server,相反,锁仍然留在本地,仅仅把它的状态置为FREE。这样,如果有其他线程需要访问该锁时,并不会产生网络开销,因为锁是在本地的。随之而来的复杂性就是,如果锁成了本地锁,其他client如何获取这个资源?


YFS的解决方案是:建立一条从lock-server到client的tcp连接,在该连接中,client作为server端。这样,lock-server就拥有了可以通知client归还锁的机会。假设client1拥有锁lock-hot,当client2向lock-server请求此锁时,
在lock-server端:
if 有其他client也在等待该锁,then
将client2置入该锁的等待队列尾;
else lock-server向client1发出一个revoke请求,要求其归还锁
if client1能够立刻归还锁(当下并没有使用),then
if 在发送“漫长的网络请求”revoke请求中,有其他client来申请该锁并被加入等待队列中,then
先给client2发送一个revoke请求,告诉它有其他用户希望得到该锁,一旦使用完毕,请尽快归还。
else none
将锁授予client2;
else 将client2放入锁lock-hot的等待排队列表中,等待client1归还该锁。
ps, 请注意,这里并没有给出lock-hot初始就是FREE的情况。


在client1端:
client1首先查看该锁在本地的使用情况,
if 没有任何线程在使用它,then
if 没有排队等待线程(当某一个线程使用lockhot完毕并将其置为FREE时,刚刚到达的revoke请求可能会先于其他已经在等待lock-hot的本地线程先获得对该锁的访问权), then
直接归还锁给server;
else 并不直接归还锁,而是设置一个标记量,一旦该锁被释放(注意,锁在本地,则本地线程拥有获取该锁的优先权,以避免再次申请的网路开销),client1会主动释放锁给server。
else 设置一个标记量,一旦该锁被释放client1会主动释放锁给server。

你已经确认使用的是 **Quartz 集群模式**,并且配置看起来是正确的,但仍出现了 **“自己锁自己”** 或 **Oracle 报 `SELECT ... FOR UPDATE` 死锁警告** 的问题。 --- ### 一、问题本质分析 #### 1. Quartz 集群模式的锁机制 即使你只启动了一个节点,**Quartz 集群模式依然会启用分布式锁机制**,使用 `JC_QRTZ01_LOCKS` 表来保证多节点之间的调度一致性。 #### 2. Oracle 的 `FOR UPDATE` 行锁机制 Quartz 使用如下语句获取锁: ```sql SELECT * FROM JC_QRTZ01_LOCKS WHERE SCHED_NAME = 'scheduler' AND LOCK_NAME = :1 FOR UPDATE ``` 在 Oracle 中: - `FOR UPDATE` 会锁定行 - 如果同一个事务尝试重复加锁,Oracle 会等待,直到超时或释放 - 如果是同一个会话尝试重复加锁,**Oracle 会警告“self deadlock”** #### 3. 为什么会“自己锁自己”? - Quartz 在调度过程中,**多个线程或操作可能会尝试获取相同的锁** - 特别是在 `acquireTriggersWithinLock=true` 情况下,锁的粒度和使用频率更高 - 如果 Quartz 的锁释放机制不及时或事务未正确关闭,就可能出现“自己锁自己”的现象 --- ### 二、解决方案与优化建议 #### ✅ 1. 确保数据库事务正确提交或回滚 - Quartz 使用数据库事务进行加锁和任务调度 - 如果事务未及时提交或回滚,可能导致锁未释放 - 检查数据库连接池配置,确保事务不会长时间挂起 #### ✅ 2. 升级 Quartz 到最新稳定版本 - Quartz 2.3.x 以后版本对集群锁机制进行了优化 - 特别是对 Oracle 的支持更稳定 - 建议使用 Quartz 2.3.2 或更高版本 #### ✅ 3. 调整 `acquireTriggersWithinLock` 设置 你当前配置是: ```properties org.quartz.jobStore.acquireTriggersWithinLock: true ``` 这个配置会增加锁的持有时间,可能导致锁竞争。你可以尝试设置为 `false`: ```properties org.quartz.jobStore.acquireTriggersWithinLock: false ``` > ⚠️ 注意:关闭后可能会降低调度准确性,但能减少锁冲突。 #### ✅ 4. 调整 `clusterCheckinInterval` 你当前配置是: ```properties org.quartz.jobStore.clusterCheckinInterval: 10000 ``` 可以适当增大到 `20000` 或 `30000`,减少频繁的锁检查: ```properties org.quartz.jobStore.clusterCheckinInterval: 20000 ``` #### ✅ 5. 检查数据库索引和表结构 确保 `JC_QRTZ01_LOCKS` 表有以下索引: ```sql CREATE INDEX IDX_QRTZ_LOCKS_SCHED_NAME ON JC_QRTZ01_LOCKS(SCHED_NAME); CREATE INDEX IDX_QRTZ_LOCKS_LOCK_NAME ON JC_QRTZ01_LOCKS(LOCK_NAME); ``` 否则,`SELECT FOR UPDATE` 可能导致全表锁,增加死锁概率。 #### ✅ 6. 启用 Quartz 日志追踪锁行为 在 `quartz.properties` 中开启日志输出: ```properties org.quartz.scheduler.instanceId = AUTO org.quartz.plugin.triggHistory.class = org.quartz.plugins.history.LoggingTriggerHistoryPlugin org.quartz.plugin.jobHistory.class = org.quartz.plugins.history.LoggingJobHistoryPlugin ``` 可以更清楚地看到锁的获取和释放过程。 --- ### 三、Oracle 死锁排查建议 你可以通过以下方式查看当前锁情况: ```sql -- 查看当前锁信息 SELECT * FROM v$lock WHERE sid IN (SELECT sid FROM v$session WHERE username = 'YOUR_SCHEMA'); -- 查看锁等待会话 SELECT * FROM v$session_wait WHERE event = 'enqueue'; -- 查看死锁信息(需 DBA 权限) SELECT * FROM dba_deadlocks; ``` --- ### 四、总结 | 问题 | 原因 | 解决方案 | |------|------|----------| | 自己锁自己 | Quartz 集群模式加锁机制 | 升级 Quartz,优化事务 | | Oracle 报 `FOR UPDATE` 死锁 | 同一会话重复加锁 | 调整 `acquireTriggersWithinLock` | | 锁冲突频繁 | 表结构或索引缺失 | 添加索引,优化查询 | | 锁未释放 | 事务未提交 | 检查连接池配置 | | 如何监控锁行为 | 不清楚锁的流程 | 启用 Quartz 日志插件 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值