在路上的博客

第一 Caused by: java.lang.OutOfMemoryError: Java heap space Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hive.io.HiveIO...

1.4.1使用hive求出两个数据集的差集 数据 t1表： id name 1zs 2ls t2表： id name 1 zs 3 ww 结果如下： id name 2 ls 3 ww create table diff_t1( id string, name string ) row format delimited fields terminated by ’ ’ ; load data lo...

1.3时间函数 1.3.1常见的时间函数 from_unixtime(bigint unixtime,[string format]): 时 间 戳 转 日 期 函 数 ， unix_timestamp([string date]): 转换成时间戳，然后转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败，则返回0，返回bigint类型 to_date(stri...

1.2.3 切分字符串 编写sql实现如下： uid tags 1 1,2,3 2 2,3 3 1,2 编写sql实现如下结果： uid tag 1 1 1 2 1 3 2 2 2 3 3 1 3 2 create table t1( uid int, tags string ) row format delimited fields terminated by ‘\t’ ; load data ...

1.1.12使用hive的hql实现男女各自第一名及其它 create table score_s( id int, sex int, chinese_s int, math_s int ) row format delimited fields terminated by ‘\t’ ; load data local inpath ‘/hivedata/score_s.txt’ overwri...

1.1.5你知道的排名函数有哪些？说一说它们之间的区别？ 排名函数： row_number() over() : 排名函数，没有并列名次，名次连续，如:1,2,3. 适合于生成主键或者不并列排名, rank() over() : 排名函数，有并列名次，名次不连续。如:1,1,3. dense_rank() over() : 排名函数，有并列名次，名次连续。如：1,1,2. 区别： 1、(共同点)三...

1.1hive窗口函数 1.1.1了解哪些窗口函数，都是什么功能？找一个在某个业务中的应用？ sum(col) over() : 分组对col累计求和，over() 中的语法如下count(col) over() : 分组对col累计，over() 中的语法如下min(col) over() : 分组对col求最小 max(col) over() : 分组求col的最大值 avg(col) ove...

导入语句 sqoop import –connect jdbc:mysql://zjy:3306/company –username root –password zjy123zjy --table staff1 –split-by id –hive-import –create-hive-table –hive-table staff_hive; 然后出现下面的场景 没报错 以为成功了 就去...

hive通话记录时长 时间函数 有如下通话记录： Zhangsan Wangwu 01:01:01 Zhangsan Zhaoliu 00:11:21 Zhangsan Yuqi 00:19:01 Zhangsan Jingba 00:21:01 Zhangsan Wuxi 01:31:17 Wangwu Zhaoliu 00:51:01 Wangwu Zhaoliu 01:11:19 Wangw...