spark submit

最新推荐文章于 2024-10-07 15:44:41 发布

原创最新推荐文章于 2024-10-07 15:44:41 发布 · 192 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

数据分析专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了如何使用Spark在YARN集群中进行高效部署，包括配置PySpark Python环境、设置资源参数以及执行Python脚本的具体步骤。通过调整如内存分配、执行器数量等关键参数，确保了Spark作业在YARN上的稳定运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

export PYSPARK_PYTHON=*/bin/python

$SPARK_HOME/bin/spark-submit --conf "spark.yarn.dist.archives=/home/anaconda2.tar.gz" --conf "spark.executorEnv.PYSPARK_PYTHON=/home/anaconda2.tar.gz/anaconda2/bin/python" --conf spark.cleaner.periodicGC.interval=60 --conf spark.cleaner.referenceTracking.blocking=false --master yarn --deploy-mode client --queue root.bigw --num-executors 5 --executor-cores 5 --executor-memory 5g --driver-memory 6g /home/user/er.py