菜鸟VS大神的博客

创建拉链表1.1、拉链表中一般应该包括：创建时间、操作时间、有效开始日期、有效结束日期四个字段。拉链表用来反映业务变化过程，用来解决hive中数据不能更新的问题。drop table if exists dwd_order_info_his;create external table dwd_order_info_his( `id` string COMMENT '订单编号', `total_amount` decimal(10,2) COMMENT '订单金额', `o

一、行转列1.1、行转列需要用到的函数CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串。例如： concat( aa, ‘:’, bb) 就相当于把aa列和bb列用冒号连接起来了，aa:bb。CONCAT_WS(separator, str1, str2,…)：CONCAT_WS() 代表 CONCAT With Separator ，是CONCAT()的特殊形式。第一个参数是其它参数的分隔符。分隔符的位置放在要连接的两

package com.dt.spark.cores.java.HiveDataMode;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache....