Spark 任务停止后自动重启

最新推荐文章于 2023-09-03 09:30:58 发布

原创最新推荐文章于 2023-09-03 09:30:58 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark

Spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一个用于监控YARN上应用程序状态并自动重启的Shell脚本。该脚本通过检查应用程序的状态，若发现其已停止，则记录错误日志，并尝试重新启动应用程序。此外，还介绍了如何设置定时任务来定期执行此重启脚本。

[root@bigdata-1 ~]$ vim appRestart.sh

#! /bin/bash
status="RUNNING"
programStatus=`yarn application -list |grep YARN-NAME| awk '{print $6}'`
if [ "$status" == "$programStatus" ]
then
        #"程序正在运行..."
else
        echo `date "+%Y-%m-%d %H:%M:%S"` "程序已经结束..." >> error.log
        echo `date "+%Y-%m-%d %H:%M:%S"` "程序重新启动..." >> error.log
        echo -e "\n" >> error.log
        Spark 提交命令
fi

[root@bigdata-1 ~]$ chmod 777 appRestart.sh