Spark算子综合案例 - JAVA篇（续）

@Anges

已于 2024-03-27 11:34:11 修改

阅读量659

点赞数 1

文章标签： java spark scala

于 2023-05-29 14:34:52 首次发布

本文链接：https://blog.youkuaiyun.com/m0_51550513/article/details/130927745

版权

第2关：Friend Recommendation - 好友推荐

package net.educoder;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
import java.util.Arrays;
import java.util.ArrayList;
import java.util.List;

public class Step2 {

    private static SparkConf conf;
    private static JavaSparkContext sc;

    static {
        conf = new SparkConf().setAppName("step2").setMaster("local");
        sc = new JavaSparkContext(conf);
    }

    /**
     *
     * @return JavaPairRDD<String, Integer>
     */
    public static JavaPairRDD<String, Integer> fun2() {
        JavaRDD<String> rdd = sc.textFile("/root/friend.txt");

        /**-------------------------------beign-----------------------------------**/
        JavaPairRDD<String, Integer> rdd1=rdd.flatMapToPair(line -> {