hive中行转列,列转行的场景及实现

本文介绍了Hive在处理数据时行转列和列转行的常见场景及实现方法。具体包括从table1查询出table2时利用concat_ws()和collect_set()函数,从table2查询出table1时使用explode()、split()和LATERAL VIEW函数。还给出了用户人群标签统计的场景,并举例说明了列转行的处理方法,强调了explode()函数在处理List格式数据时的作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hive行转列,列转行的应用场景:

1、 需要取“订单号”对应的所有商品“SKU号”,商品“sku号”放在一列,即从table1查询出table2;
2、 当商品“sku号”均在一列的时候,需要查询每个“sku号”对应的“订单号”,即从table2查询出table1。

3、场景:在hive表中,一个用户会有多个人群标签,List格式(逗号分隔如要转成List),有时我们需要统计一个人群标签下有少用户,这是就需要使用行转列。

示例如下:(场景一,场景二)

实现方法:
1、从table1查询出table2:

SELECT sale_ord_id, concat_ws(',', collect_set(item_sku_id)) AS item_sku_id
FROM table1
WHERE dt = sysdate(-1)
GROUP BY sale_ord_id


关键点:concat_ws()  、 collect_set() 函数的使用


2、从table2查询出table1:

SELECT sale_ord_id, sku_id
FROM table2
    LATERAL VIEW explode(split(item_sku_id, ','
Hive中,**行转列**和**转行**是非常常见的数据操作需求。它们用于将数据从一种结构转换成另一种结构。 ### 行转列 (Unpivot to Pivot) 假设我们有一个表 `scores` 记录学生的成绩信息: | student | subject | score | |---------|----------|-------| | 张三 | 数学 | 85 | | 张三 | 英语 | 90 | | 李四 | 数学 | 76 | | 李四 | 英语 | 84 | 如果想按学生名称汇总科目分数到一行,则可以使用 **GROUP BY 和聚合函数(如 MAX 或 COLLECT_LIST 等)结合 CASE WHEN 实现**。 #### 示例SQL: ```sql SELECT student, MAX(CASE WHEN subject = '数学' THEN score ELSE NULL END) AS math_score, MAX(CASE WHEN subject = '英语' THEN score ELSE NULL END) AS english_score FROM scores GROUP BY student; ``` 结果将是这样的形式: | student | math_score | english_score | |---------|------------|---------------| | 张三 | 85 | 90 | | 李四 | 76 | 84 | --- ### 转行 (Pivot to Unpivot) 假如现在有一张宽表如下所示: | student | math_score | english_score | |---------|------------|---------------| | 张三 | 85 | 90 | | 李四 | 76 | 84 | 我们需要将其变为每一门课的成绩单独占一行的形式。这可以通过UNION ALL来完成。 #### 示例SQL: ```sql SELECT student, 'math' as subject, math_score as score FROM wide_table UNION ALL SELECT student, 'english', english_score FROM wide_table; ``` 最终得到的结果将会是之前窄表的样子: | student | subject | score | |---------|----------|-------| | 张三 | math | 85 | | 张三 | english | 90 | | 李四 | math | 76 | | 李四 | english | 84 | --- 通过上述例子可以看到,在实际应用中可以根据需要选择合适的方式来进行数据的行互换处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

掉进悬崖的狼

请博主喝杯奶茶

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值