hive 行转列和列转行的方法

最新推荐文章于 2024-04-30 05:43:28 发布

最新推荐文章于 2024-04-30 05:43:28 发布 · 1.5k 阅读

文章标签：

#hive #行转列 #列转行 #lateral view explode #collect_set

hive 专栏收录该内容

55 篇文章

订阅专栏

本文详细介绍了Hive中行转列与列转行的操作方法，包括建表、数据处理及示例代码，适用于数据处理场景。

一、行转列的使用

１、问题

hive如何将

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

变为：

a b 1,2,3
c d 4,5,6

２、数据

test.txt

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

３、答案

1.建表

drop table tmp_jiangzl_test;
create table tmp_jiangzl_test
(
col1 string,
col2 string,
col3 string
)
row format delimited fields terminated by '\t'
stored as textfile;

load data local inpath '/home/jiangzl/shell/test.txt' into table tmp_jiangzl_test;

2.处理

select col1,col2,concat_ws(',',collect_set(col3))
from tmp_jiangzl_test
group by col1,col2;

二、列转行

１、问题

hive如何将

a b 1,2,3
c d 4,5,6

变为：

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

2、答案

1.建表

drop table tmp_jiangzl_test;
create table tmp_jiangzl_test
(
col1 string,
col2 string,
col3 string
)
row format delimited fields terminated by '\t'
stored as textfile;

处理：

select col1, col2, col5

from tmp_jiangzl_test a

lateral view explode(split(col3,',')) b AS col5

本文行转列的例子引自：http://my.oschina.net/repine/blog/295961