spark 提交jar包运行

最新推荐文章于 2023-03-30 20:14:59 发布

原创最新推荐文章于 2023-03-30 20:14:59 发布 · 599 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据专栏收录该内容

1 篇文章

订阅专栏

本文详细解析了使用Spark进行大规模数据处理的配置参数，包括内存分配、并行度设置及故障恢复策略等关键内容，旨在优化Spark作业的运行效率。

./spark-submit --class RunIdMapping --name oot-xgboost-model
–master=yarn --queue root.xy_etl --driver-memory 40g --num-executors 200 --executor-cores 2 --executor-memory 6g --conf spark.yarn.am.memory=1g --conf spark.default.parallelism=400
–conf spark.dynamicAllocation.enabled=false --conf spark.yarn.maxAppAttempts=4
–conf spark.task.maxFailures=8 --conf spark.yarn.max.executor.failures=15 --conf spark.yarn.executor.failuresValidityInterval=1h
–conf spark.speculation=false --conf spark.executor.extraJavaOptions=" -XX:+UseG1GC "
–conf “spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties”
./graphx-1.0-SNAPSHOT.jar