Spark2.3(三十六)：根据appName验证某个app是否在运行

SPARK应用状态检查脚本

最新推荐文章于 2025-04-13 00:16:25 发布

weixin_30251829

最新推荐文章于 2025-04-13 00:16:25 发布

阅读量92

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/yy3b2007com/p/10107084.html

本文介绍了一个用于检查YARN上运行的SPARK应用程序状态的shell脚本。该脚本通过列出所有应用程序并筛选出特定名称的SPARK应用，判断其是否正在运行。若未运行，则触发应用提交流程。

具体脚本

#/bin/sh
#LANG=zh_CN.utf8
#export LANG
export SPARK_KAFKA_VERSION=0.10
export LANG=zh_CN.UTF-8

# export env variable
if [ -f ~/.bash_profile ];
then
source ~/.bash_profile
fi
source /etc/profile


myAppName='SPARK APP NAME'
apps=''

for app in `yarn application -list`
do
  apps=${app},$apps
done

apps=${apps%?}


if [[ $apps =~ $myAppName ]]
then
  echo "included"
else
  echo "not included，do submit...."
    ./submit_x1_x2.sh abc TestRestartDriver
fi