hive array类型转成多行

最新推荐文章于 2025-05-19 19:09:54 发布
最新推荐文章于 2025-05-19 19:09:54 发布
阅读量4.4k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hive 大数据 工作实践 文章标签： hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40809627/article/details/111996003
本文详细介绍了如何在SQL中使用LATERAL VIEW和explode函数，将`cate_first_id_arr`字段从单行数据转换为多行，以便于查询和分析。通过示例展示了如何在dw****.table1表中操作，适用于业务场景如'2021-03-21'，biz='yp'，token='006BCBFFE34B931516BA88C99FF4C1D9'的数据处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目的：将一行数据，转成多行问题

1、explode(array)函数接受array类型的参数，其作用恰好与collect_set相反

select 
token
,cate_first_id_arr
from  dw****.table1 
where dt='2021-03-21' 
and biz='yp' 
and token='006BCBFFE34B931516BA88C99FF4C1D9'
limit 100

查询出结果为
在这里插入图片描述
使用
LATERAL VIEW explode() 函数转成多行 具体sql 变成

select 
token
,cate_first_id
from dw****.table1 
LATERAL VIEW explode(cate_first_id_arr) cfi as cate_first_id
where dt='2021-03-21' 
and biz='yp' 
and token='006BCBFFE34B931516BA88C99FF4C1D9'
limit 100

结果数据变成（即将一行变成多行）

在这里插入图片描述

https://my.oschina.net/u/3204727/blog/1571101

Hive 行列转换
Byyyi耀的博客
01-23 1064
Hive行列转换方式汇总
Hive——多行转一行及一行转多行
森谷蘑的博客
05-28 8113
Hive——一行转多行及多行转一行 链接1: link 链接2: link
Hive列数组转换多行
liuygvip的博客
01-29 366
数据仓库常用的统计转换，列转行
十三、Hive 行列转换
最新发布
大数据领域创作新星
05-19 1万+
在数据处理中，行列转换是数据建模、清洗和可视化的“变形术”。本文以实战视角系统梳理 Hive SQL 中实现行转列与列转行的多种方法，包括 CASE WHEN + 聚合函数、COLLECT_LIST、LATERAL VIEW EXPLODE + MAP/ARRAY、STACK 等。通过经典场景演示如何用最优语法完成数据透视、结构拆分与重构，并配套 10 道进阶练习题及答案，助你全面掌握 Hive 在数据转换中的“十八般武艺”。适合想要提升数据操作技巧的工程师与数据分析师查阅收藏。
Hive中的行转列和列转行
zhr2415658919的博客
12-05 4451
在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。列转行，顾名思义，将原本某列中一行的数据拆分为多行，该操作会使得数据行数增多。我们采用的方法是使用LATERAL VIEW语法，配合explode函数（或其他UDTF）Hive中是有可以直接将一行输出为多行的函数的（即UDTF），比如explode函数，举一个例子来说明这个函数的用法，数据集如下： 其中score字段为数组ARRAY(B
Hive-列转行(explode,lateral view)
Knight
11-21 1123
1．函数说明 EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。 LATERAL VIEW 用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias 解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。 2．数据准备 movie category 《疑犯追踪》 悬疑,动作,科幻,剧情 《Lie to me》 悬疑,警匪,
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_aac_mtf_meas_results_new add if not exists partition(date='{DATE}' ,hour='{HOUR}',minutes='{MINUTES}'); insert overwrite table ods.iot.iot_5060_io
hive读取json数组并转换成多行（列转行）
iilegend的博客
03-03 5387
背景：在读取hive表中某一些字段的时候，有的json字符串其中会包括数组，那么想要读取这个数组并且转换为多行该怎么操作那？ 操作： 1、数据举例： ["[{\"pet_skill_avg_level\":0,\"pet_guard_star\":0,\"pet_type\":0,\"pet_step\":0,\"pet_skill_num\":0,\"pet_adv_score\":0,\"p...
大数据hive操作行列转换之单列转多行
东城庞太师
02-06 969
原始数据： a b 1,2,3 c d 4,5,6 建表： create table col2row_21(col1 string,col2 string,col3 string) row format delimited fields terminated by '\t'; 表结构如下： +------------------+-----------------...
大数据hive操作行列转换之多行转单列
东城庞太师
02-06 1636
建表： create table row2col_1(col1 string,col2 string,col3 int) row format delimited fields terminated by ','; 表结构如下： +-----------------+-----------------+-----------------+--+ | row2col_1.col1 | row...
hive中函数--一个数组值转为多行；多行的值变成一个数组
u013983161的博客
04-23 2231
1.多行转换为一行的函数collect_list,collect_set collect_list:不去重，多行变成一行，实际上就是变成一个数组 collect_set:去重 2.concat_ws将数组中的值用指定分隔符拼接起来 2.一行转成多行 explode(col):将hive一列中复杂的array或者map结构拆分成多行 lateral view 用法：lateral view udtf(expression) tablealias as columnalia..
hive列转行案例
01-07
hive列转行 1．函数说明 EXPLODE(col)：将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 LATERAL VIEW ： 用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias 解释：用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此 基础上可以对拆分后的数据进行聚合。 2．数据准备 move_name category 《疑犯追踪》 悬疑,动作,科幻,剧情 《Lie to me》 悬疑,警匪,动作,心理,剧情 《战狼 2》 战争
hive中如何将存在分隔符号的一列进行拆分，成为多行（可参考之前行转列，列转行笔记第三部分）
加油小白的博客
11-19 3143
hive中如何将存在分隔符号的一列进行拆分，成为多行
Spark的DataFrame中用explode将array数组转换成多行
longwei92的博客
06-05 7514
//service_prod_code字段类型为array val df_info = spark.sql( """ select product, service_prod_code from tablename """.stripMargin) //使用explode会将原值中的null值删除掉，就是说，如果原来的arr...
Hive 行转列、列转行
hello_heheha的博客
12-21 809
hive 行列之间数据相互转换
hive 列转行和行转列
qq_37627820的博客
05-14 795
那么用explode()函数就不能实现了，可以用posexplode()函数，因为该函数可以将index和数据都取出来，explode(map)将map里的每一对元素作为一行，其中key为一列，value\。4.但是不能在只查询源表的时候，既想返回源表字段又想返回explode生成的虚拟表字段。对一列进行炸裂可以使用 explode()函数，但是如果想实现对两列都进行多行转换，2.explode函数执行返回的结果可以理解为一张虚拟的表，起数据来源于表。1.explode函数属于UDTF函数，既表生成函数。
HIVE中的行转列和列转行
weixin_43200379的博客
05-20 299
列转行 多列转多行 编码 准确达标量 上传达标量 k01 5 3 k02 7 2 目标：将准确达标量和上传达标量统一到一列中。 编码 达标量 类型 k01 5 准确 k01 3 准确 k02 7 上传 k02 2 上传
HIVE函数之行转列、列转行、分组排序取TopN
libaowenBlog的博客
08-15 1457
一、分组排序取TopN 二、行转列 三、列转行
Hive多行转一行
04-28
### Hive 多行转一行的实现方法 在 Hive 中，`CONCAT_WS` 和 `COLLECT_LIST` 是两个常用的函数组合，用于将多行数据合并为一行。以下是详细的解释以及示例代码。 #### 使用 `CONCAT_WS` 和 `COLLECT_LIST` `COLLECT_LIST` 是一个聚合函数，它可以将分组后的每一组值收集到一个数组中。随后，`CONCAT_WS` 可以通过指定的分隔符将这个数组中的元素拼接成一个字符串。 以下是一个具体的例子，展示如何使用这两个函数将多行数据合并为一行： ```sql SELECT id, CONCAT_WS(',', COLLECT_LIST(value)) FROM table_name GROUP BY id; ``` 在这个查询中，`table_name` 是目标表的名字，`id` 是分组依据的字段名，而 `value` 是需要被拼接的字段名。该查询会根据 `id` 对记录进行分组，并将每组内的 `value` 字段按逗号 `,` 拼接起来形成一个新的字段[^1]。 #### 使用 `CONCAT_WS` 和 `COLLECT_SET` 如果希望在拼接前去掉重复的值，则可以使用 `COLLECT_SET` 替代 `COLLECT_LIST`。`COLLECT_SET` 同样会将分组后的每一组值收集到一个集合中，但是它会自动移除重复的值。 下面是使用 `COLLECT_SET` 的例子： ```sql SELECT id, CONCAT_WS(',', COLLECT_SET(value)) FROM table_name GROUP BY id; ``` 这段代码的功能与前面提到的类似，不同之处在于它只保留唯一的 `value` 值再将其拼接在一起[^2]。 #### 结合排序功能 有时候可能还需要对结果进行排序后再拼接。在这种情况下，可以结合 `SORT_ARRAY` 函数一起使用。例如： ```sql SELECT id, CONCAT_WS(',', SORT_ARRAY(COLLECT_SET(value), FALSE)) AS sorted_values FROM table_name GROUP BY id; ``` 这里的 `SORT_ARRAY` 函数会对收集到的集合或列表进行排序，其中第二个参数 `FALSE` 表示升序排列；如果是降序则应该传递 `TRUE`[^3]。 综上所述，这就是利用 Hive SQL 将多行数据压缩至单一记录的主要方式及其应用场景介绍。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值