使用hive中的concat_ws,collect_set()列转行

BeautyBit

于 2021-09-08 17:32:31 发布

阅读量616

点赞数

CC 4.0 BY-SA版权

文章标签： hive

本文链接：https://blog.youkuaiyun.com/FionaAI/article/details/120185019

本文介绍了如何使用SQL进行数据建表、批量插入及数据聚合。通过`CREATE TABLE`与`INSERT INTO`语句创建并填充表格，然后利用`SELECT`, `GROUP BY`, `CONCAT_WS`和`COLLECT_SET`函数实现数据的去重与合并，形成聚合后的字符串。这种方法在数据处理中十分实用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

建表

drop table if exists analyst.fiona_colunm_to_row;
CREATE TABLE IF NOT EXISTS analyst.fiona_colunm_to_row AS
SELECT
'c' as row_1,'d' as row_2,1 as row_3

批量插入数据：

insert into analyst.fiona_colunm_to_row values
('c','d',2),
('c','d',3),
('e','f',1),
('e','f',2),
('e','f',3),
('e','f',4)

得到表格如下：
在这里插入图片描述
现在想要得到：

可以使用如下代码：

SELECT row_1,
       row_2,
       concat_ws(',' , collect_set(cast(row_3 AS string))) AS colunm_to_row
FROM analyst.fiona_row_to_column
GROUP BY row_1,
         row_2;