spark-submit提交Python程序,使用python zip环境
## yarn client hdfs文件
spark-submit \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--num-executors 3 \
--executor-memory 1g \
--executor-cores 1 \
--archives hdfs://hadoop102:8020/user/xxx/python_zips/pyspark_env.zip#my_env \
--conf spark..
原创
2022-02-10 14:33:13 ·
2283 阅读 ·
0 评论