Hive 行转列LATERAL VIEW explode使用方法

本文介绍了一种将逗号分隔的字符串字段转换为多行记录的方法,使用了LATERAL VIEW explode函数,这对于数据预处理和数据分析非常有用。

原数据表a,每列都是由逗号分隔的字符串:

bb_id
1,2,3
1,1
2,3

我们需要的是

bb_id
1
2
3
1
1
2
3

使用LATERAL VIEW explode函数可进行行转列

select bb_id2 
    from a
    LATERAL VIEW explode(split(bb_id),','))bbid as bb_id2;

 

### Hive `LATERAL VIEW` 和 `EXPLODE` 函数详解 #### 语法结构 在Hive查询语句中,`LATERAL VIEW`用于处理复杂的数据类型,如数组或映射。通过与`EXPLODE`函数结合使用,可以将这些复杂类型的元素展开成多行数据。 ```sql SELECT column1, ... , udtf_column_alias FROM source_table LATERAL VIEW EXPLODE(complex_column) exploded_table AS udtf_column_alias; ``` 此语法允许用户指定要爆炸的列以及生成的新表别名和新列别名[^1]。 #### 实际应用案例 考虑有一个名为`src`的表格,其中包含一列表示用户的ID及其关联的兴趣标签组成的数组: | id | tags | |----|------------------------| | 1 | ["music", "sports"] | | 2 | ["travel", "photography"]| 为了获取每一对(id, tag),可执行如下SQL命令来实现这一目标: ```sql SELECT id, value FROM src LATERAL VIEW explode(tags) exploded_tags AS value; ``` 这会返回如下所示的结果集: | id | value | |--| | 1 | music | | 1 | sports | | 2 | travel | | 2 | photography | 当遇到某些记录中的复杂字段为空或NULL的情况时,可以通过添加关键字`OUTER`到`LATERAL VIEW`之后确保即使原表中有空值也能保留原始行而不丢失任何信息。 例如,在上述例子基础上如果希望对于那些tags为空或者不存在的情况下也能够显示对应的id,则应修改查询为: ```sql SELECT id, value FROM src LATERAL VIEW OUTER explode(tags) exploded_tags AS value; ``` 这样就可以得到包括所有源表记录在内的完整结果集合。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值