Spark中广播变量（broadcast）使用

最新推荐文章于 2025-09-11 07:00:00 发布

原创最新推荐文章于 2025-09-11 07:00:00 发布 · 4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #spark #broadcast #scala

大数据同时被 3 个专栏收录

28 篇文章

订阅专栏

Spark

18 篇文章

订阅专栏

scala

16 篇文章

订阅专栏

本文介绍了Spark中的广播变量（Broadcast），用于减少数据在Excetor间的重复传输，提高效率。在Driver端创建广播变量并传递给Executor，Executor的task在运行时从本地或远程BlockManager获取变量副本，避免数据冗余。通过案例展示了如何使用Broadcast进行数据操作。

前言

在spark中，有一些数据需要传入到每个Excetor中每个task任务中，假如一个Excetor中有10个分区的task，那么每个分区都得需要一份Driver中传入的数据，那么会导致一个Excetor中有大量的重复的数据，spark中存在一种变量broadcast，广播变量，该变量只会往执行任务的执行的Excetor中发送一份变量，这样会大大减少每个EXcetor中的重复的数据

一、使用介绍

object Broadcast {
  def main(args: Array[String]): Unit = {
    val sparkConf= new SparkConf().setMaster("local[*]").setAppName("broadcast")
    val sc = new SparkContext(sparkConf)
    val rdd = sc.makeRDD(List(
      ("a", 1), ("b", 2), ("c", 3),("c", 3)
    ),4)
    //
    val map=mutable.Map("b"->3,"c"->5,"d"->7)
    val value1 = sc.broadcast(map)
    val broadRDD = rdd.map {
      case (key, value) => {
        if (value1.value.contains(key)) {
          (key, value + 1)
        }else{
          (key,1000)
        }
      }
    }
    broadRDD .collect()

    sc.stop()
  }
}

使用sc.Broadcast 把变量放入Spark上下文中，这样每个Excetor都可以使用这个广播变量了

二、broadcast原理

广播变量，初始的时候，就在Drvier上有一份副本。task在运行的时候，想要使用广播变量中的数据，此时首先会在自己本地的Executor对应的BlockManager中，尝试获取变量副本；如果本地没有，那么就从Driver远程拉取变量副本，并保存在本地的BlockManager中；此后这个executor上的task，都会直接使用本地的BlockManager中的副本。executor的BlockManager除了从driver上拉取，也可能从其他节点的BlockManager上拉取变量副本。