本文档详细介绍了如何在DolphiScheduler平台上配置和传递Spark程序的外部参数。通过设置主程序参数，利用$[yyyy-MM-dd]和$[yyyy-MM-dd-1]动态获取当前日期及前一天，结合/user/home/test/路径，实现scala代码中procDate和路径参数的传入。该方法对于需要依赖日期进行处理的Spark作业尤其有用。
DolphiScheduler平台上运行spark程序时，外部参数设置
近期使用DS平台执行spark程序，遇到了部分参数设置的问题，代码中需要外部传入一个参数procDate(处理日期)，具体设置如下：
1. scala代码中需要传入时间和路径两个参数
# scala
val procDate = args(0)
val path= args(1)
2. DS作业中设置这两个参数的格式
- 在主程序参数栏中传递这两个参数的值：$[yyyy-MM-dd-1] /user/home/test/
- 参数$[yyyy-MM-dd] 表示当前日期，$[yyyy-MM-dd-1]表示当前日期-1天，如当前日期 $[yyyy-MM-dd]是2022-05-10，$[yyyy-MM-dd-1]就表示2022-05-09
- /user/home/test/表示传入的第二个参数值
- 两个参数间用空格分隔，类似shell命令
扫一扫
1494
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
