如何设置定时任务(spark-submit,crontab)?

本文介绍如何在Linux环境中使用crontab结合spark-submit命令,实现Spark任务的定时执行。包括创建sh文件存放spark-submit命令、编辑crontab设置定时任务的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

设置定时任务,让脚本定时执行,在Linux中,spark-submit提交任务时,可使用crontab来实现。

1. 假设已经安装了crontab;
2. 创建sh文件,存放需要执行的spark-submit命令,如:

sh文件
(1)切换到脚本所在的路径;
(2)spark-submit的路径要写全;
(3)master地址,我这里随便写的;
(4)要执行的脚本名;
(5)如果是在windows系统上写完run.sh文件后传到服务器上执行,要注意将dos转为unix格式,否则可能会报错;如unix不支持win里的换行符;
3. 编辑crontab;
(1)crontab -e
即进入vim界面(可百度vim命令的用法);
(2)键盘英文状态下按”i”,会显示—INSERT–,输入命令即可,如
在这里插入图片描述
在每月的15号,13:14分跑/home/example路径下的run.sh文件,并把日志输出到/home/example路径下的run.log中;
(3)按esc,然后输入大写的”ZZ“,保存并退出vim界面;
(4)输入crontab –e 或 crontab -l查看是否编辑成功;

定时任务设置完成。
我没有引入环境变量也设置成功了,所以我还不会怎么引入环境变量。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值