HIVE中关于collect_set与explode函数妙用

最新推荐文章于 2023-11-24 21:00:00 发布

Running_you

最新推荐文章于 2023-11-24 21:00:00 发布

阅读量2.9w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hive 文章标签：函数 hive

本文链接：https://blog.youkuaiyun.com/sinat_29508201/article/details/48138207

Hive 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了Hive中三种复合数据类型：array、map及struct的使用方法，并通过实例展示了如何利用collect_set和explode函数来处理复杂数据。collect_set用于去重汇总生成array类型，而explode则将array数据转换为行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive的复合数据类型

hive中的列支持使用三类复杂的集合数据类型，即：array，map及struct，这些类型的名称是保留字，具体用法可参见该篇博文，里面有关于三类基本集合数据类型的操作实例，注：map中可嵌套array类型。
例如，定义表：

create table example (
    device_id string,
    login_ip array<string>,
    user_info map<string,array<string>>
    address struct<street:string,city:string,state:string>
)
row format delimited
fields terminated by '\001'
collection items terminated by '\002'
map keys terminated by '\003'
lines terminated by '\n'
stored as RCFile;

在hive环境下运行，即可创建该管理表（区分外部表），如果有必要，可以直接使用load data加载数据。

collect_set函数

collect_set(col)函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。例如，如下数据记录，要统计每种no下的score，这里就可以配合group by 产生奇效。

no  score
1   2
1   3
1   3
2   2
2   4
2   4
......

直接对no分组后对score进行collect_set操作，如下：

select no，collect_set(score) from tablss group by no;

这样，就实现了将列转行的功效，但是注意只限同列基本数据类型，函数只能接受一列参数。

explode函数

explode(array)函数接受array类型的参数，其作用恰好与collect_set相反，实现将array类型数据行转列，例如，上述记录列转行后的形式如下：

no   score_set
1    [2,3]
2    [2,4]

假设这样的数据类型以分区表存储，你要统计一段时间类no=1下的去重score，那么该怎么办了？这里可配合使用lateral view首先实现列转行的功能，如下所示：

select no,score from tablaa lateral view explode(score_set) xxx as score;

注：xxx代表虚表名称，不能缺少。

进一步深化上述代码解决统计一段时间的去重值，可写为：

select no，collect_set(score) from tablaa lateral view explode(score_set) xxx as score group by no;

这样，将两个函数结合实现了行转列或列转行的妙用。