hive array类型转成多行

本文详细介绍了如何在SQL中使用LATERAL VIEW和explode函数,将`cate_first_id_arr`字段从单行数据转换为多行,以便于查询和分析。通过示例展示了如何在dw****.table1表中操作,适用于业务场景如'2021-03-21',biz='yp',token='006BCBFFE34B931516BA88C99FF4C1D9'的数据处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目的:将一行数据,转成多行问题

1、explode(array)函数接受array类型的参数,其作用恰好与collect_set相反

select 
token
,cate_first_id_arr
from  dw****.table1 
where dt='2021-03-21' 
and biz='yp' 
and token='006BCBFFE34B931516BA88C99FF4C1D9'
limit 100

查询出结果为
在这里插入图片描述
使用
LATERAL VIEW explode() 函数转成多行 具体sql 变成

select 
token
,cate_first_id
from dw****.table1 
LATERAL VIEW explode(cate_first_id_arr) cfi as cate_first_id
where dt='2021-03-21' 
and biz='yp' 
and token='006BCBFFE34B931516BA88C99FF4C1D9'
limit 100

结果数据变成(即将一行变成多行)

在这里插入图片描述

https://my.oschina.net/u/3204727/blog/1571101

### Hive 多行转一行的实现方法 在 Hive 中,`CONCAT_WS` 和 `COLLECT_LIST` 是两个常用的函数组合,用于将多行数据合并为一行。以下是详细的解释以及示例代码。 #### 使用 `CONCAT_WS` 和 `COLLECT_LIST` `COLLECT_LIST` 是一个聚合函数,它可以将分组后的每一组值收集到一个数组中。随后,`CONCAT_WS` 可以通过指定的分隔符将这个数组中的元素拼接成一个字符串。 以下是一个具体的例子,展示如何使用这两个函数将多行数据合并为一行: ```sql SELECT id, CONCAT_WS(',', COLLECT_LIST(value)) FROM table_name GROUP BY id; ``` 在这个查询中,`table_name` 是目标表的名字,`id` 是分组依据的字段名,而 `value` 是需要被拼接的字段名。该查询会根据 `id` 对记录进行分组,并将每组内的 `value` 字段按逗号 `,` 拼接起来形成一个新的字段[^1]。 #### 使用 `CONCAT_WS` 和 `COLLECT_SET` 如果希望在拼接前去掉重复的值,则可以使用 `COLLECT_SET` 替代 `COLLECT_LIST`。`COLLECT_SET` 同样会将分组后的每一组值收集到一个集合中,但是它会自动移除重复的值。 下面是使用 `COLLECT_SET` 的例子: ```sql SELECT id, CONCAT_WS(',', COLLECT_SET(value)) FROM table_name GROUP BY id; ``` 这段代码的功能与前面提到的类似,不同之处在于它只保留唯一的 `value` 值再将其拼接在一起[^2]。 #### 结合排序功能 有时候可能还需要对结果进行排序后再拼接。在这种情况下,可以结合 `SORT_ARRAY` 函数一起使用。例如: ```sql SELECT id, CONCAT_WS(',', SORT_ARRAY(COLLECT_SET(value), FALSE)) AS sorted_values FROM table_name GROUP BY id; ``` 这里的 `SORT_ARRAY` 函数会对收集到的集合或列表进行排序,其中第二个参数 `FALSE` 表示升序排列;如果是降序则应该传递 `TRUE`[^3]。 综上所述,这就是利用 Hive SQL 将多行数据压缩至单一记录的主要方式及其应用场景介绍。 ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值