Hive中explode()和posexplode()函数总结

最新推荐文章于 2025-12-04 19:44:58 发布

原创最新推荐文章于 2025-12-04 19:44:58 发布 · 299 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #数据仓库

大数据专栏收录该内容

277 篇文章

订阅专栏

创建test表结构如下：

在这里插入图片描述

#将数组中的每个元素拆分为单独的行，生成单列

select explode(student) from test;

在这里插入图片描述
#单列拆分

select class,e_student from test lateral view explode(student) table_a as e_student;

在这里插入图片描述
#单列拆分——编号引入posexplode

select class,id,e_student from test lateral view posexplode(student) table_a as id,e_student;

在这里插入图片描述
#单列拆分——通过编号+1来实现序号从1开始

select class,id+1 stuid,e_student from test lateral view posexplode(student) table_a as id,e_student;

在这里插入图片描述
#多列拆分——错误示范直接用exploded会产生笛卡尔积

select class,e_student,e_score from test lateral view explode(student) table_a as e_student lateral view explode(score) table_a as e_score;

在这里插入图片描述
#多列拆分——正确做法配合posexplode()

select class,e_student,e_score from test lateral view posexplode(student) table_a as stuid,e_student lateral view 
posexplode(score) table_a as sid,e_score where stuid=sid;

在这里插入图片描述
#开窗按班级班内排名

select class,e_student,e_score,rank() over(partition by class order by e_score desc) rk from test lateral view posexplode(student) table_a as stuid,e_student lateral view 
posexplode(score) table_a as sid,e_score where stuid=sid;

在这里插入图片描述

创建test2表结构如下：

在这里插入图片描述

#将映射的键值对拆分为两列，分别对应 key和value

select explode(score) as (course,e_score) from test2 where student='小A';

在这里插入图片描述
#将映射的键值对拆分

select student,course,e_score from test2 lateral view explode(score) table_a as course,e_score;

在这里插入图片描述
posexplode()能否对键值类（map）进行编号呢？

select student,id,course,e_score from test2 lateral view posexplode(score) table_a as id,course,e_score;

在这里插入图片描述

这个错误提示表明你在使用posexplode函数时没有提供数组类型的参数。posexplode函数用于将数组（array）类型的列拆分成多行，同时保留元素在数组中的位置索引。