Spark 广播变量的使用(Java版)

最新推荐文章于 2024-11-11 20:11:53 发布

桔梗的犬夜叉

最新推荐文章于 2024-11-11 20:11:53 发布

阅读量2.8k

点赞数 1

分类专栏： Spark

Spark 专栏收录该内容

5 篇文章

订阅专栏

本文深入探讨了Apache Spark中广播变量的使用场景与实现方法。通过一个具体的Java示例，展示了如何在Driver端创建并使用广播变量来过滤数据，从而提高Executor端的数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文地址:https://www.cnblogs.com/learn-bigdata/p/10794881.html

广播变量:主要应用与Driver创建的变量,在Executor端需要用到时,可以使用广播变量

package SparkStreaming;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.broadcast.Broadcast;

import java.util.Arrays;
import java.util.List;

public class BroadCast {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setMaster("local")
                .setAppName("BroadCastTest");
        JavaSparkContext sc = new JavaSparkContext(conf);
        /*
        * 使用广播变量，广播变量的定义必须在driver端，因为sc没有被序列化不能被发送到Executor端
        * */
        Broadcast<String> blackname = sc.broadcast("dwj3");
        List<String> name = Arrays.asList(
                "dwj1",
                "dwj2",
                "dwj3");
         //创建广播变量(创建广播变量的类型根据自己的需要)
            //Broadcast<Map<String, Map<String, Object>>>  labelLogicMapBroadCast = sc.broadcast(labelLogicMap);
            //Broadcast<Map<String, Map<String, List<T_LabelSecondLogic>>>> labelSecondLogicMapBroadCast = sc.broadcast(labelSecondLogicMap);
            //Broadcast<Map<String, Map<String, Object>>> hotCaculateMapBroadCast = sc.broadcast(hotCaculateMap);
            //Broadcast<Map<String, Map>> importanceParameterMapBroadCast = sc.broadcast(importanceParameterMap);



        //String blackName = "dwj3";
        JavaRDD<String> nameRDD = sc.parallelize(name);
        JavaRDD<String> namefilter = nameRDD.filter(new Function<String, Boolean>() {
            @Override
            public Boolean call(String s) throws Exception {
                String blacknames = blackname.getValue();
                return !blacknames.equals(s);
            }
        });
        List<String> lastname = namefilter.collect();
        for(String str:lastname){
            System.out.println(str);
        }
    }
}