selfond的博客

DolphiScheduler平台上运行spark程序时，外部参数设置 近期使用DS平台执行spark程序，遇到了部分参数设置的问题，代码中需要外部传入一个参数procDate(处理日期)，具体设置如下： 1. scala代码中需要传入时间和路径两个参数 # scala val procDate = args(0) val path= args(1) 2. DS作业中设置这两个参数的格式 在主程序参数栏中传递这两个参数的值：$[yyyy-MM-dd-1] /user/home/test/ 参数$[yyy

### 问题： 本地执行spark sql，生成数据是会出现java.io.IOException: (null) entry in command string: null ls -F E:\tmp\hive错误 解决办法

问题： 在WIndows操作系统中本地运行spark程序写文件操作时,报以下错误： ....(null) entry in command string: null chmod 0644 ..(后面是目的目录) 解决方法: 下载hadoop.dll文件 并拷贝到c:\windows\system32目录中 然后重新运行代码程序即可 hadoop.dll下载地址 链接：https://pan.baidu.com/s/1Rb5ROUQMSqp7SeQINlLZkA 提取码：n8t6 ...

Spark scala 一行转多行 原始数据↓ A a1,a2,a3 B a4,a5 C a3,a5 D a1,a2,a3,a4 E a1 逻辑代码↓ val data = source .map(s => { val tmp1 = arr(0) val tmp2 = arr(1).split(",") (tmp1, tmp2) }) .map(s => { s._2 .ma