文章目录
前言
1、2 方式只能修改spark内置参数,外部自定义参数不支持此方式
如果传递,将提示
Warning: Ignoring non-spark config property: count.end.time=1564122000000
3方式可以用来传递自定义参数,通过args[]去获取
1、通过脚本 --conf 方式来提交
多个配置参会传递多个 --config
./bin/spark-submit --class com.xx.TestApp
--master yarn
--deploy-mode cluster
--driver-memory 1g
--num-executors 2
--executor-memory 512M
--executor-cores 2
//配置信息
--conf spark.mongodb.input.uri

本文介绍了在Spark中通过脚本--conf、配置文件--properties-file以及main函数传递参数的不同方式,重点强调了后两者对于自定义参数的支持。
最低0.47元/天 解锁文章
1354

被折叠的 条评论
为什么被折叠?



