- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark多列排序
spark多列进行排序取第一条设置的参数//要排序的列名 val column: String = ""//分隔符 val delimiter: String = ","//根据哪一列排序，一般是时间 val orderBy: String = ""//增加判断，正序还是倒序 val option: String = "1"//取多少条 val number: String = _逻辑代码 val strings = column.split(delimite
2021-04-12 21:39:57
831
原创 Spark存储文件，修改目录及文件名
今天业务刚好要用spark来将数据库里的数据定时存储到hdfs,分目录,改文件名,记下来防止以后不写spark忘记（老年人记性差）第一种方式使用saveAsHadoopFile算子,继承MultipleTextOutputFormat话不多说,上代码//查出当天日期的前一天 val cal = Calendar.getInstance cal.setTime(new Date) cal.add(Calendar.DATE, -1)//存储的目录，根据自己的业务来分,存储Hdfs就写hdfs路径
2021-03-28 01:17:46
1337
原创 spark sql df加字段
df 加字段（插入固定值）1.使用lit()函数var status: String = _var del_flag: String = _status = componentProps.getString("status", "1")is_supplement = componentProps.getString("is_supplement","1")val frame = df .withColumn("status", lit(status)) .withColumn("del_fl
2021-03-24 19:23:37
1601
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人