hive行转列 (Lateral View explode())

博客给出原始数据文件 test.txt 内容,包含两列字符和一列数字,还提及处理方案是遍历数组中的每一列,同时给出了转载来源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原始数据:
test.txt

a b 1,2,3

c d 4,5,6

方案:

drop table test_jzl_20140701_test;

create table test_jzl_20140701_test

(

col1 string,

col2 string,

col3 string

)

row format delimited fields terminated by ' '

stored as textfile;


load data local inpath '/home/jiangzl/shell/test.txt' into table test_jzl_20140701_test;

select * from test_jzl_20140701_test  

a       b       1,2,3

c       d       4,5,6

遍历数组中的每一列

select col1,col2,name 

from test_jzl_20140701_test  

lateral view explode(split(col3,',')) col3 as name;


a       b       1

a       b       2

a       b       3

c       d       4

c       d       5

c       d       6 

转载自:https://my.oschina.net/repine/blog/287254

### Hive `LATERAL VIEW` 和 `EXPLODE` 函数详解 #### 语法结构 在Hive查询语句中,`LATERAL VIEW`用于处理复杂的数据类型,如数组或映射。通过与`EXPLODE`函数结合使用,可以将这些复杂类型的元素展开成多行数据。 ```sql SELECT column1, ... , udtf_column_alias FROM source_table LATERAL VIEW EXPLODE(complex_column) exploded_table AS udtf_column_alias; ``` 此语法允许用户指定要爆炸的列以及生成的新表别名和新列别名[^1]。 #### 实际应用案例 考虑有一个名为`src`的表格,其中包含一列表示用户的ID及其关联的兴趣标签组成的数组: | id | tags | |----|------------------------| | 1 | ["music", "sports"] | | 2 | ["travel", "photography"]| 为了获取每一对(id, tag),可执行如下SQL命令来实现这一目标: ```sql SELECT id, value FROM src LATERAL VIEW explode(tags) exploded_tags AS value; ``` 这会返回如下所示的结果集: | id | value | |--| | 1 | music | | 1 | sports | | 2 | travel | | 2 | photography | 当遇到某些记录中的复杂字段为空或NULL的情况时,可以通过添加关键字`OUTER`到`LATERAL VIEW`之后确保即使原表中有空值也能保留原始行而不丢失任何信息。 例如,在上述例子基础上如果希望对于那些tags为空或者不存在的情况下也能够显示对应的id,则应修改查询为: ```sql SELECT id, value FROM src LATERAL VIEW OUTER explode(tags) exploded_tags AS value; ``` 这样就可以得到包括所有源表记录在内的完整结果集合。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值