pyspark资源配置

原创

已于 2022-03-25 18:04:03 修改 · 2.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #pyspark #spark

于 2022-03-25 15:56:19 首次发布

pyhton中，想像scala一样，对spark使用资源做指定，如：

spark-submit \
--principal $principal \
--keytab $keytab \
--name Test \
--master yarn --deploy-mode cluster \
--num-executors 10 \
--executor-cores 4 \
--executor-memory 16G \
--driver-memory 16G \
--conf spark.locality.wait=10 \
--conf spark.serializer="org.apache.spark.serializer.KryoSerializer" \
--conf spark.streaming.backpressure.enabled=true \
--conf spark.task.maxFailures=8 \
--conf spark.driver.maxResultSize=8G \
--conf spark.default.parallelism=500 \
--conf spark.sql.shuffle.partitions=300 \
--conf spark.sql.autoBroadc