spark-submit传递参数以及任务如何解析参数
1.传参spark-submit传递参数有两种方式:–conf k1=v1 --conf k2=v2cli args,在jar包后追加详见官方文档:2.解析–conf方式解析:sparkContext.getConf.get("k1")cli args方式解析: parse(args.toList) ... ... def parse(list: List[String]): Unit = list match { case "--input" :: valu
原创
2021-05-24 15:21:37 ·
3277 阅读 ·
1 评论