SparkSubmit 启动spark任务脚本

最新推荐文章于 2023-12-12 13:11:27 发布

原创最新推荐文章于 2023-12-12 13:11:27 发布 · 346 阅读

0 ·

CC 4.0 BY-SA版权

Spark 专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了一个具体的Spark程序部署案例，包括spark-submit的路径配置、jar包的本地目录设定及使用spark-submit提交spark程序的具体参数设置，如master选择、driver与executor资源分配等。

#spark-submit路径
sparksubmits="/opt/cloudera/parcels/SPARK2/bin/spark2-submit"
#jar包所在本地目录
echo "begin running MarkLabelLogicDriver model"
#使用spark-submit提交spark程序
su root -c "$sparksubmits --class cn.com.trs.topic.news.MarkLabel.MarkLabelDriver \
--master yarn \
--driver-cores 1 \
--driver-memory 2g \
--deploy-mode cluster \
--executor-cores 1 \
--num-executors 16 \
--executor-memory 1g \
--name MarkLabeLogiclDriver \
/usr/java/checkpoint/markLabelLogic/SSE_ST2_ANALYSIS_SPARK_LABEL.jar \
XZ 4 20"