Java Spark算子：join

最新推荐文章于 2025-02-14 14:07:05 发布

原创最新推荐文章于 2025-02-14 14:07:05 发布

· 411 阅读

0 ·

版权

文章标签：

#spark #大数据 #java

Java 同时被 2 个专栏收录

23 篇文章

订阅专栏

Spark

21 篇文章

订阅专栏

本文详细介绍了Apache Spark中RDD的Join操作，通过具体代码示例展示了如何使用Java API实现两个RDD的笛卡尔积计算，以及如何对具有相同Key的数据进行汇总。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.util.Arrays;
import java.util.List;

/**
 * join（otherDataSet，[numPartitions]）
 * 第一个参数：另一个RDD
 * 第二个参数：分区数，可省略。
 * 按照key将两个RDD中进行汇总操作，会对每个key所对应的两个RDD中的数据进行笛卡尔积计算。
 *
 * 代码的输出结果为：[(d,(1,3)), (d,(2,3)), (t,(1,3)), (t,(1,4)), (t,(2,3)), (t,(2,4))]
 *
 */
public class JoinDemo {

    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setMaster("local").setAppName("spark");
        JavaSparkContext sc = new JavaSparkContext(conf);
        List<Tuple2<String, Integer>> list1 = Arrays.asList(
                new Tuple2<>("t", 1),
                new Tuple2<>("t", 2),
                new Tuple2<>("d", 1),
                new Tuple2<>("d", 2)
        );
        List<Tuple2<String, Integer>> list2 = Arrays.asList(
                new Tuple2<>("t", 3),
                new Tuple2<>("t", 4),
                new Tuple2<>("d", 3)
        );
        JavaPairRDD<String, Integer> javaPairRDD = sc.parallelizePairs(list1);
        JavaPairRDD<String, Integer> javaPairRDD1 = sc.parallelizePairs(list2);

        //join算子
        JavaPairRDD<String,Tuple2<Integer,Integer>> reduce = javaPairRDD.join(javaPairRDD1);
        System.err.println(reduce.collect());

    }

}