[Hive]用concat_w实现将多行记录合并成一行

本文介绍了如何在Hive中利用concat_w函数结合collect_set操作,将多行数据的promotion_id字段合并为一行,并实现去重功能。示例中展示了创建表、数据插入以及执行查询的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

建表如下:

# 创建商品与促销活动的映射表
hive -e "set mapred.job.queue.name=pms;
set hive.exec.reducers.max=32;
set mapred.reduce.tasks=32;

drop table if exists product_promotion;
create table product_promotion(product_id bigint, promotion_id String);

insert into table product_promotion 
select p2.product_id, p2.promotion_id 
from pms.promotionv2 p1 inner join pms.promotionv2_main_product_sku p2 
on (p1.id=p2.promotion_id)
where from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') between p1.start_date and p1.end_date;"

数据表的记录如下:

5112 960024
5112 960025
5112 960026
5112 960027
5112 960028
5113 960043
5113 960044
5113 960045
5113 960046

对promotion_id进行合并:

select product_id, concat_ws('_',collect_set(promotion_id)) as promotion_ids from product_promotion group by product_id

执行结果:

### Hive 多行一行实现方法 在 Hive 中,`CONCAT_WS` 和 `COLLECT_LIST` 是两个常用的函数组合,用于将多行数据合并一行。以下是详细的解释以及示例代码。 #### 使用 `CONCAT_WS` 和 `COLLECT_LIST` `COLLECT_LIST` 是一个聚合函数,它可以将分组后的每一组值收集到一个数组中。随后,`CONCAT_WS` 可以通过指定的分隔符将这个数组中的元素拼接一个字符串。 以下是一个具体的例子,展示如何使用这两个函数将多行数据合并一行: ```sql SELECT id, CONCAT_WS(',', COLLECT_LIST(value)) FROM table_name GROUP BY id; ``` 在这个查询中,`table_name` 是目标表的名字,`id` 是分组依据的字段名,而 `value` 是需要被拼接的字段名。该查询会根据 `id` 对记录进行分组,并将每组内的 `value` 字段按逗号 `,` 拼接起来形一个新的字段[^1]。 #### 使用 `CONCAT_WS` 和 `COLLECT_SET` 如果希望在拼接前去掉重复的值,则可以使用 `COLLECT_SET` 替代 `COLLECT_LIST`。`COLLECT_SET` 同样会将分组后的每一组值收集到一个集合中,但是它会自动移除重复的值。 下面是使用 `COLLECT_SET` 的例子: ```sql SELECT id, CONCAT_WS(',', COLLECT_SET(value)) FROM table_name GROUP BY id; ``` 这段代码的功能与前面提到的类似,不同之处在于它只保留唯一的 `value` 值再将其拼接在一起[^2]。 #### 结合排序功能 有时候可能还需要对结果进行排序后再拼接。在这种情况下,可以结合 `SORT_ARRAY` 函数一起使用。例如: ```sql SELECT id, CONCAT_WS(',', SORT_ARRAY(COLLECT_SET(value), FALSE)) AS sorted_values FROM table_name GROUP BY id; ``` 这里的 `SORT_ARRAY` 函数会对收集到的集合或列表进行排序,其中第二个参数 `FALSE` 表示升序排列;如果是降序则应该传递 `TRUE`[^3]。 综上所述,这就是利用 Hive SQL 将多行数据压缩至单一记录的主要方式及其应用场景介绍。 ###
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值