spark 提交jar包运行

zgx___

于 2020-04-22 17:36:39 发布

阅读量584

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark

本文链接：https://blog.youkuaiyun.com/zgx_plh/article/details/105688433

大数据专栏收录该内容

1 篇文章

订阅专栏

本文详细解析了使用Spark进行大规模数据处理的配置参数，包括内存分配、并行度设置及故障恢复策略等关键内容，旨在优化Spark作业的运行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

./spark-submit --class RunIdMapping --name oot-xgboost-model
–master=yarn --queue root.xy_etl --driver-memory 40g --num-executors 200 --executor-cores 2 --executor-memory 6g --conf spark.yarn.am.memory=1g --conf spark.default.parallelism=400
–conf spark.dynamicAllocation.enabled=false --conf spark.yarn.maxAppAttempts=4
–conf spark.task.maxFailures=8 --conf spark.yarn.max.executor.failures=15 --conf spark.yarn.executor.failuresValidityInterval=1h
–conf spark.speculation=false --conf spark.executor.extraJavaOptions=" -XX:+UseG1GC "
–conf “spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties”
./graphx-1.0-SNAPSHOT.jar