Hive SQL行列转换

最新推荐文章于 2024-01-30 14:46:05 发布

菜鸟VS大神2

最新推荐文章于 2024-01-30 14:46:05 发布

阅读量2.2k

点赞数

分类专栏： hive mysql 大数据

本文链接：https://blog.youkuaiyun.com/yangyang222222222/article/details/114871793

版权

本文介绍了Hive SQL中的行转列和列转行操作，详细讲解了CONCAT、CONCAT_WS、COLLECT_SET等函数在行转列中的应用，以及EXPLODE和LATERAL VIEW在列转行中的使用。通过真题实战，展示了如何将用户信息和用户爱好数据进行转换，帮助读者理解并掌握Hive的数据转换技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、行转列

1.1、行转列需要用到的函数

CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串。

例如： concat( aa, ‘:’, bb) 就相当于把aa列和bb列用冒号连接起来了，aa:bb。

CONCAT_WS(separator, str1, str2,…)：CONCAT_WS() 代表 CONCAT With Separator ，是CONCAT()的特殊形式。第一个参数是其它参数的分隔符。分隔符的位置放在要连接的两个字符串之间。分隔符可以是一个字符串，也可以是其它参数。如果分隔符为 NULL，则结果为 NULL。函数会忽略任何分隔符参数后的 NULL 值。但是CONCAT_WS()不会忽略任何空字符串。 (然而会忽略所有的 NULL)。

COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。

1.2、真题实战

1.2.1、需求

user_name province city

张三广东广州

李四河南开封

王二广东深圳

小亮河南开封

小明广东深圳

如上面表格是hive表user_info里的数据，现在想把省份和城市一样的用户放到一起，想要的结果如下：

place users

广东,广州张三

广东,深圳王二|小明

河南,开封李四|小亮

题目分析：

SELECT
	t.place AS place,
	CONCAT_WS('|', COLLECT_SET(t.user_name)) AS users
FROM
	(
		SELECT
			user_name,
			CONCAT(province, ',', city) AS place
		FROM
			user_info
	) t
GROUP BY
	t.place;