35. Spark 2.4版本以下没有array_join、array_sort 函数，可变通的办法

最新推荐文章于 2025-07-31 00:00:00 发布

原创

最新推荐文章于 2025-07-31 00:00:00 发布 · 1.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

首先，先要知道 array_join 及 array_sort的函数用法，详情请参考如下网址：

https://www.iteblog.com/archives/2459.html

下面给出Spark 2.4的 demo代码

select 
  row_number()  OVER (PARTITION BY 1 ORDER BY 1) id,
  md5(array_join(array_sort(collect_set(f.holder_id)),'|')) association_id,
  current_timestamp() date_modified,
  first(f.date_id) date_id,
  array_join(array_sort(collect_set(f.holder_id)),'|') horder_ids_string,
  size(collect_set(f.holder_id)) holder_count,
  first(h.type) holder_type,
  first(h.type_name) holder_type_name,
  first(f.date_id) dt           
from XXXXX f, XXXX h
where f.holder_id=h.id
group by f.association_tmp_id</