使用array_intersect在Spark中处理数组数据

array_intersect，该函数用于返回两个数组的交集

rray_intersect函数的语法和用法

array_intersect函数接受两个数组作为输入参数，并返回一个包含两个数组交集的新数组。它的语法如下：

array_intersect(array1, array2)

其中，array1和array2是要比较的两个数组。

使用示例

让我们通过几个示例来演示如何使用array_intersect函数。

示例1：使用字面量数组

SELECT array_intersect(array(1, 2, 3), array(2, 3, 4));

上述查询将返回数组[2, 3]，这是两个输入数组的交集。

示例2：使用DataFrame列

假设我们有一个包含两列数组的DataFrame，我们想要找到这两列的交集。可以这样做：

-- 创建示例 DataFrame  
CREATE TEMPORARY VIEW df AS  
SELECT array(1, 2, 3) as array_col1, array(2, 3, 4) as array_col2;  
  
-- 使用 array_intersect 函数找到交集  
SELECT array_intersect(array_col1, array_col2) as intersection FROM df;

上述查询将为每一行返回两个数组的