Hive函数高阶应用-explode爆炸函数以及侧视图

最新推荐文章于 2024-12-13 14:26:42 发布

原创最新推荐文章于 2024-12-13 14:26:42 发布 · 882 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #数据仓库

本文介绍了explode函数作为UDTF在处理map和array类型数据时的作用，它能将一行数据拆分成多行。侧视图（lateral view）则通过与UDTF结合，形成虚拟表，实现数据的连接。示例中展示了如何利用explode和lateral view查询NBA冠军球队年份，并按年份排序。同时，通过统计每个球队夺冠次数，进一步展示了explode和lateral view在数据分析中的应用。

explode属于UDTF函数，表生成函数，输入一行输出多行。接受map以及array类型数据，把map或者array的元素输出，一行一个元素。例如：

select explode(`array`(11,22,33,44,55));
11
22
33
44
55

侧视图的原理是将UDTF的结果构建成一个类似于视图的表，然后将原表中的每一行和UDTF函数输出的每一行进行连接，生成一张新的虚拟表。

--lateral view侧视图基本语法如下
select …… from tabelA lateral view UDTF(xxx) 别名 as col1,col2,col3……;

--针对上述NBA冠军球队年份排名案例，使用explode函数+lateral view侧视图，可以完美解决
select a.team_name ,b.year
from the_nba_championship a lateral view explode(champion_year) b as year;

--根据年份倒序排序
select a.team_name ,b.year
from the_nba_championship a lateral view explode(champion_year) b as year
order by b.year desc;

--统计每个球队获取总冠军的次数 并且根据倒序排序
select a.team_name ,count(*) as nums
from the_nba_championship a lateral view explode(champion_year) b as year
group by a.team_name
order by nums desc;