hive：函数：collect_list和collect_set （行转列-多行转单行）

最新推荐文章于 2025-07-24 11:11:36 发布

花和尚也有春天

最新推荐文章于 2025-07-24 11:11:36 发布

阅读量4.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： hive 文章标签： hive 函数 collect_list collect_set

本文链接：https://blog.youkuaiyun.com/weixin_38750084/article/details/93380738

hive 专栏收录该内容

114 篇文章

订阅专栏

在面对一对多关系的数据处理中，使用Hive的collect_list和collect_set函数可以将多行数据转换为单行。collect_list会保留重复项，而collect_set则会去除重复。通过这两个函数，可以先对数据按特定字段排序，再取最新（或特定条件）的数据。之后，结合concat_ws函数可将array转换为string。相关参考资料链接已给出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

业务场景：

表一对表二是一对多的关系，现在需用表1去关联表2，但是要取表2的某条对应的最新的数据

表2格式为（同id查出多条）：

select id,status from    os.os_aen_erp_comments  where recommendid =686871

1398221	加入项目
1398235	编写推荐报告
1398246	推给客户
1404211	预约初试
1404322	客户初试

使用collect_list函数进行行转列，将表2同一id的多行数据转为一行，然后再和表1进行关联。

select  recommendid,collect_list(status) status from    os.os_an_erp_comments  where recommendid =686871  group by recommendid

执行效果为：

686871	["加入项目","编写推荐报告","推给客户","预约初试","客户初试"]

注意这里是多行转成了一个Array，可以对Array相应的取值：

select  recommendid,collect_list(status)[1] status from    os.os_aen_erp_comments  where recommendid =686871  group by recommendid

686871	编写推荐报告

注意：我这里是取最新的一条数据，所以应该以时间字段或id字段排序再取值

select  recommendid,collect_list(status)[0] status from (select * from    os.os_ain_erp_comments order by id asc ) t  where recommendid =686871  group by recommendid 

执行结果：686871	加入项目

collect_set 同 collect_list，只是做了去重。

使用concat_ws实现 array转string：

https://blog.youkuaiyun.com/weixin_38750084/article/details/107710916

参考：https://www.cnblogs.com/cc11001100/p/9043946.html