pyspark on yarn 集群方式提交计算的驱动问题
spark-submit \
--master yarn \
--verbose \
--deploy-mode cluster \
--num-executors 1 \
--executor-memory 1G \
--executor-cores 1 \
test.py -table 'ods.tabe' -fields 'dt' -prov hl -dt 20201122
在spark-default.conf
配置
spark.pyspark.python python3
spark.driv
原创
2020-12-15 15:20:29 ·
368 阅读 ·
0 评论