本文介绍在Hive中如何使用UDAF COLLECT_SET进行字段去重并转换为数组，通过实例展示了如何对特定字段进行去重拼接，适用于需要对同一ID下不同字段值进行唯一化处理的场景。
在Hive的是用中，我们经常会有这种需求：
按照同一个id进行Ｇroup By，然后对另一个字段去重，例如下面得数据：
id pic
1 1.jpg
2 2.jpg
1 1.jpg
此时，是用DISTINCT或者2 col得Group By都是不行得，我们可以用这个UDAF：collect_set(col)，它将对同一个group by 得key进行set去重后，转换为一个array。
再举一个例子，我们可以对pic进行去重，拼接：
SELECT id, CONCAT_WS(',', COLLECT_SET(pic)) FROM tbl GROUP BY id
在这里CONCAT_WS是UDF，COLLECT_SET是UDAF，它将group后的pic去重，并转换为了array，方便udf是用。
PS：如果不需要去重，可以使用COLLECT_LIST。
按照同一个id进行Ｇroup By，然后对另一个字段去重，例如下面得数据：
id pic
1 1.jpg
2 2.jpg
1 1.jpg
此时，是用DISTINCT或者2 col得Group By都是不行得，我们可以用这个UDAF：collect_set(col)，它将对同一个group by 得key进行set去重后，转换为一个array。
再举一个例子，我们可以对pic进行去重，拼接：
SELECT id, CONCAT_WS(',', COLLECT_SET(pic)) FROM tbl GROUP BY id
在这里CONCAT_WS是UDF，COLLECT_SET是UDAF，它将group后的pic去重，并转换为了array，方便udf是用。
PS：如果不需要去重，可以使用COLLECT_LIST。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
