Spark优化之在大数据环境判断两个列表是否有交集

问题背景

在项目中，有一个DataFrame，名为df1，它有40亿行数据，一共有100列。其中有一列，名为ids，类型为Seq[Long]，最大长度为900。另外每一行数据都可以由unique_id这一列唯一标识。现在有另一个DataFrame，名为df2，它可能有多行数据。其中有两列，第一列列名为flag，类型为String；第二列列名为targeting_ids，类型为Seq[Long]，长度最大为4w。现在的需求是：在df1中新增一列flags，类型是Seq[String]，如果ids和targeting_ids有交集，则在df1中的flags值中添加targeting_ids对应的flag。它们分别长这样：

df1:
+---------+---------+
|unique_id|ids      |
+---------+---------+
|1        |[1, 2, 3]|
|2        |[5, 6, 7]|
|3        |[2, 5]   |
|4        |[8]      |
+---------+---------+

df2:
+-----+-------------+
|flag |targeting_ids|
+-----+-------------+
|flag1|[2, 3, 4]    |
|flag2|[5]          |
+-----+-------------+

项目环境

Spark 3.0.1

解决方案一

通过从抽取df1抽取unique_id和ids字段与df2作full join，将结果按照unique_id字段分组，对flag作collect_list聚合，最后将该结果与df1做join，即可得到正确结果。代码如下：

// solution1
    val tmpDF = df1.select("unique_id", "ids").join(broadcast(df2)) // full join
      .withColumn("flag",
        when(size(array_intersect($"ids", $"targeting_ids")) > 0, $"flag")
          .otherwise(lit(""))
      ).filter("flag != ''")
      .groupBy("unique_id").agg(collect_list("flag") as "flags")
    val df3 = df1.join(broadcast(tmpDF), Seq("unique_id"), "left")
    df3.show(false)

结果如下：

+---------+---------+--------------+
|unique_id|ids      |flags         |
+---------