shell执行spark-submit

最新推荐文章于 2025-11-28 14:30:30 发布

原创最新推荐文章于 2025-11-28 14:30:30 发布 · 2.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#shell

shell 专栏收录该内容

2 篇文章

订阅专栏

#!/bin/bash
# chmod +x ./test.sh  修改权限
num=0
while(($num<2181))
do 
    spark-submit \
--master yarn \
--deploy-mode cluster \
--queue default \
--num-executors 45 \
--executor-memory 2G \
--driver-memory 24G \
--archives  \
--py-files , \
--conf spark.dynamicAllocation.enabled=false \
--conf spark.yarn.maxAppAttempts=1 \
--conf spark.yarn.executor.memoryOverhead=12288 \
myfloder.py  \
--num $num \
--output predictions
    #num=$[num+6]
    #echo $num
    let "num+=6" # 自加6
done