hive sql 即hql行转列和列转行经典例子,无需自建数据

本文深入解析了一段复杂的SQL查询代码,详细介绍了如何使用SQL进行数据筛选、聚合和连接操作。通过示例展示了如何利用子查询、连接(join)、分组(group by)、聚合函数和字符串函数来解决实际业务问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

SELECT  table1.id
        , concat_ws('|',collect_list(table1.max_or_min_part)) as max_and_min_part
from
        (
            SELECT  tab1.id     as id
                    , if(tab2.min_part = tab1.col2,concat('min_part=',tab1.order_id),concat('max_part=',tab1.order_id))  
                                as  max_or_min_part
            from    
                    (
                        SELECT  id
                                ,order_id
                                ,split(order_id,':')[0]    as col1
                                ,split(order_id,':')[1]    as col2
                        from
                            (SELECT '1' as id
                                    ,concat("aa:11",",bb:22",",cc:33")   as text
                            ) tb1
                        lateral view explode(split(tb1.text,',')) num as order_id
                    )tab1
            left join
                    (
                        SELECT  tb2.id  as id
                                ,min(tb2.col2)  as min_part
                                ,max(tb2.col2)  as max_part
                        from    
                                (
                                    SELECT  t2.id
                                            ,order_id
                                            ,split(order_id,':')[0]    as col1
                                            ,split(order_id,':')[1]    as col2
                                    from
                                            (SELECT '1' as id
                                                    ,concat("aa:11",",bb:22",",cc:33")   as text
                                            ) t2
                                    lateral view explode(split(t2.text,',')) num as order_id
                                )tb2
                        group by tb2.id
                    ) tab2
            on  tab1.id = tab2.id
            where   tab1.col2 = tab2.max_part
            or      tab1.col2 = tab2.min_part
        ) table1
group by table1.id
;

### Hive SQL行转列转行的实现方法 #### 行转列 (Pivot) 在Hive SQL中,行转列通常通过`GROUP BY`语句配合聚合函数来完。对于更复杂的场景,则可以利用内置函数如 `collect_set()` 或者 `concat_ws()`. 当需要将某中的不同值汇总一行并以特定字符分隔时,可采用如下方式: ```sql SELECT id, CONCAT_WS(',', COLLECT_SET(value_column)) AS aggregated_values FROM table_name GROUP BY id; ``` 此查询会把表内相同ID下的value_column字段的不同取值收集起来形一个由逗号分隔的字符串[^4]. #### 转行 (Unpivot) 针对转行为需求,Hive提供了专门用于展开数组或map类型的两个重要工具——`LATERAL VIEW` 结合 `EXPLODE` 及其变体 `POSEXPLODE`. - **Explode**: 将单个单元格内的复杂数据结构拆分多条记录. 假设有一个包含多个标签的字符串表作为单一字段存储: ```sql SELECT t.id, e.tag FROM tags_table t LATERAL VIEW EXPLODE(SPLIT(t.tags, ',')) exploded_table AS e; ``` 上述命令将会依据逗号分割tags字段,并为每一个子项创建新的行. - **Posexplode**: 类似于explode功能但是额外返回元素的位置索引。 如果想要获取位置信息的话就可以这样写: ```sql SELECT t.id, p.pos, p.value FROM complex_data t LATERAL VIEW POSEXPLODE(array_field) posexpanded_table AS pos, value; ``` 为了进一步处理含有不确定层级的数据集,在某些情况下可能还需要嵌套使用这些操作以便达到预期效果[^3]. 同样地,如果面对的是已知固定数量级别的转换任务,则可以直接指定各级别的映射关系来进行变换[^2].
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值