hive array、collect_list、collect_set、concat_ws

1、array():将两列合并为一列 如 将a字段 和b字段 合并为 c字段

hive> select array(a,b) from temp.xxxx;
OK
[“aa”,“aa”]
[“aa”,“cc”]
[“aa”,“bb”]
[“bb”,“33”]
[“bb”,“11”]

2、collect_list():根据某个字段分组后，把分在一组的数据合并在一起，默认分隔符’,’
不去重,无序

hive>select a,collect_list(b) from temp.xxxx group by a;
aa [“cc”,“aa”,“cc”,“bb”]
bb [“33”,“11”,“11”]
2、collect_list():根据某个字段分组后，把分在一组的数据合并在一起，默认分隔符’,’
去重,无序

hive>select a,collect_set(b) from temp.xxxx group by a;
aa [“cc”,“aa”,“bb”]
bb [“33”,“11”]

3、collect_set():在collect_list()的基础上去重 另：set聚合无序，可以使用sort_array()函数进行排序
hive>select a,concat_ws(",",sort_array(collect_set(b))) from temp.xxxx group by a;
aa aa,bb,cc
bb 11,33