linux定时任务crontab加锁

在Linux环境中,通过crontab定时执行java脚本时遇到了并发执行的问题。为了解决这个问题,采用了flock进行文件加锁,创建一个test.lock文件,通过flock的参数设置确保脚本在执行时只有一个实例运行。flock提供了共享锁和排他锁的选项,以及超时等待和非阻塞模式等功能,有效避免了多进程同时执行的问题。在crontab配置中,使用-flock参数配合java -cp命令,确保脚本的正确调度和执行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

遇到一个问题,记录一下:

写了一个java脚本,放在服务器上,定时一分钟执行一次,但是出现一次执行了十几分钟,开了十几个进程,并发问题,本想在脚本里面加条件限制,但总是顾头不顾尾,因此另寻出路,找到了linux里的定时任务加锁。

java脚本不变,在一个目录下新建一个锁文件,test.lock。可以是空文件。

crontab -e进入定时任务里:

*/1 8-21 * * * flock -xn /home/sec/project/spider/tmp/test.lock -c "java -cp /home/sec/project/spider/jar/Crawler.jar com.src.crawler.Main >> /home/sec/project/spider/logs/spiderBD.log 2>&1 &"

 其中路径全是绝对路径,使用flock加锁,flock的一些参数:

-s,--shared:获取一个共享锁,在定向为某文件的FD上设置共享锁而未释放锁的时间内,其他进程试图在定向为此文件的FD上设置独占锁的请求失败,而其他进程试图在定向为此文件的FD上设置共享锁的请求会成功。
-x,-e,--exclusive:获取一个排它锁,或者称为写入锁,为默认项。
-u,--unlock:手动释放锁,一般情况不必须,当FD关闭时,系统会自动解锁,此参数用于脚本命令一部分需要异步执行,一部分可以同步执行的情况。
-n,--nb, --nonblock:非阻塞模式,当获取锁失败时,返回1而不是等待。
-w, --wait, --timeout seconds:设置阻塞超时,当超过设置的秒数时,退出阻塞模式,返回1,并继续执行后面的语句。
-o, --close:表示当执行command前关闭设置锁的FD,以使command的子进程不保持锁。
-c, --command command:在shell中执行其后的语句。

 -xn:

文件锁使用独占锁,如果锁定则失败不等待。这样当任务未执行完成,下一任务判断到test.lock被锁定,则结束当前的任务,下一周期再判断。参数为-xn

补充上面为什么使用java -cp而不是java -jar:java -jar是运行jar包,jar包中含有启动项。而java -cp则是jar包中没有启动项,只有main方法,需要在jar包后,跟上main方法的路径(项目中的路径,src/main/java下的路径)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值