collect_set 分组数据合并为数组

原创已于 2022-10-21 16:35:23 修改 · 536 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #sql #hive #hive on spark #hadoop

于 2022-10-21 16:14:27 首次发布

Hive 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了如何在Hive中利用collect_set函数将分组后的数据聚合为数组形式，以示例查询展示了如何从测试表中按日期分组，获取每个日期下用户姓名和年龄拼接后的数组，并进一步提取数组的第一个元素。

HIVE 中将分组中的一列信息组织成数组形式，类似的还有 collect_list。

示例表：

CREATE TABLE test(
`id` BIGINT,
`name` STRING,
`age` BIGINT
) COMMENT '测试表'
PARTITIONED BY (dt STRING);

INSERT INTO test values(1, 'zhangsan', 28, '2022-10-20');
INSERT INTO test values(2, 'lisi', 29, '2022-10-20');
INSERT INTO test values(3, 'wangwu', 39, '2022-10-21');
INSERT INTO test values(4, 'zhaoliu', 34, '2022-10-20');
INSERT INTO test values(5, 'chenqi', 21, '2022-10-21');

查询：

hive> select collect_set(concat(name, '-', age)) nameAndAge from test group by dt;

nameandage                            |
--------------------------------------+
["zhangsan-28","lisi-29","zhaoliu-34"]|
["wangwu-39","chenqi-21"]             |

取数组的第一个值：

hive> select nameAndAge[0]

from (

select collect_set(concat(name, '-', age)) nameAndAge from test group by dt

) new