spark submit脚本

最新推荐文章于 2024-09-10 16:12:14 发布

原创最新推荐文章于 2024-09-10 16:12:14 发布 · 508 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

17 篇文章

订阅专栏

本文介绍了一个使用 Spark 在 YARN 集群模式下进行部署的具体脚本实例。通过设置必要的参数，如应用程序名称、内存分配、执行器数量等，实现了 Spark 应用的有效运行。同时，该脚本还包含了依赖 JAR 包的管理和配置文件的加载。

location=`pwd`'/'
class=com.ccd.Main
jars_path='libs'
jars_file='spark_jar_file.txt'
echo `ls -l $location$jars_path |awk 'NR>1 {print "'"$location"'""'"$jars_path"'""/"$9}'` > $jars_file
sed -i 's/[ ][ ]*/,/g' $jars_file
jars=`sed -n '1p' $location$jars_file`
files='config.properties'
jar=Main-0.0.1.jar
app_name=xx_for_xx

/usr/bin/spark-submit --class $class --master yarn-cluster --files $location$files --jars $jars \
--name $app_name \
--num-executors 10 \
--executor-memory 1000m \
--conf spark.streaming.receiver.maxRate=10000 \
$location$jar &