Ubuntu下安装cron定时运行spark任务

最新推荐文章于 2024-07-24 11:44:01 发布

原创最新推荐文章于 2024-07-24 11:44:01 发布 · 268 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#cron #spark

本文详细介绍了如何使用Cron进行定时任务设置，包括安装、启动、停止及状态检查等操作。并通过实例展示了如何创建并运行Spark应用程序，具体涉及sh文件的创建与配置，以及如何通过Cron定时执行Spark任务。

一、安装

安装：apt-get install cron
启动：service cron start
停止：service cron stop
状态：service cron status
查看：crontab -l

二、使用

1、 /var/spool/cron/crontabs下对应用户名文件添加需要定时跑的任务

0 */1 * * * sh /usr/spark/run.sh >> /usr/spark/run.log

2、创建对应sh文件

#!/bin/bash
source /etc/profile
/usr/spark/spark-2.4.6-bin-hadoop2.7/bin/spark-submit  --class com.celix.spark.WordCount --master spark://hadoop1:7077 /usr/spark/spark-2.4.6-bin-hadoop2.7/examples/jars/javajar/spark-1.0-SNAPSHOT-jar-with-dependencies.jar