遇到一个问题,记录一下:
写了一个java脚本,放在服务器上,定时一分钟执行一次,但是出现一次执行了十几分钟,开了十几个进程,并发问题,本想在脚本里面加条件限制,但总是顾头不顾尾,因此另寻出路,找到了linux里的定时任务加锁。
java脚本不变,在一个目录下新建一个锁文件,test.lock。可以是空文件。
crontab -e进入定时任务里:
*/1 8-21 * * * flock -xn /home/sec/project/spider/tmp/test.lock -c "java -cp /home/sec/project/spider/jar/Crawler.jar com.src.crawler.Main >> /home/sec/project/spider/logs/spiderBD.log 2>&1 &"
其中路径全是绝对路径,使用flock加锁,flock的一些参数:
-s,--shared:获取一个共享锁,在定向为某文件的FD上设置共享锁而未释放锁的时间内,其他进程试图在定向为此文件的FD上设置独占锁的请求失败,而其他进程试图在定向为此文件的FD上设置共享锁的请求会成功。
-x,-e,--exclusive:获取一个排它锁,或者称为写入锁,为默认项。
-u,--unlock:手动释放锁,一般情况不必须,当FD关闭时,系统会自动解锁,此参数用于脚本命令一部分需要异步执行,一部分可以同步执行的情况。
-n,--nb, --nonblock:非阻塞模式,当获取锁失败时,返回1而不是等待。
-w, --wait, --timeout seconds:设置阻塞超时,当超过设置的秒数时,退出阻塞模式,返回1,并继续执行后面的语句。
-o, --close:表示当执行command前关闭设置锁的FD,以使command的子进程不保持锁。
-c, --command command:在shell中执行其后的语句。
-xn:
文件锁使用独占锁,如果锁定则失败不等待。这样当任务未执行完成,下一任务判断到test.lock被锁定,则结束当前的任务,下一周期再判断。参数为-xn
补充上面为什么使用java -cp而不是java -jar:java -jar是运行jar包,jar包中含有启动项。而java -cp则是jar包中没有启动项,只有main方法,需要在jar包后,跟上main方法的路径(项目中的路径,src/main/java下的路径)