Spark存储分析 - 共享变量

最新推荐文章于 2024-05-02 20:51:09 发布

原创最新推荐文章于 2024-05-02 20:51:09 发布 · 478 阅读

0 ·

CC 4.0 BY-SA版权

Spark 同时被 2 个专栏收录

32 篇文章

订阅专栏

Spark专栏

14 篇文章

订阅专栏

本文介绍了Spark中的两种共享变量——BroadcastVariable和Accumulator。BroadcastVariable用于优化性能，减少网络传输和内存消耗；Accumulator支持多个任务对同一变量进行累加操作，并详细展示了如何创建和使用这两种变量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

多个task想要共享某个变量，Spark为此提供了两个共享变量，一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变量）。Broadcast Variable会将使用到的变量，仅仅为每个节点拷贝一份，更大的用处是优化性能，减少网络传输以及内存消耗。Accumulator则可以让多个task共同操作一份变量，主要可以进行累加操作。

Broadcast 广播变量

Spark提供的Broadcast Variable，是只读的。并且在每个节点上只会有一份副本，而不会为每个task都拷贝一份。因此其最大的作用，就是减少变量到各个节点的网络传输消耗，以及在各个节点上的内存消耗。此外，spark内部也使用了高效的广播算法来减少网络消耗。

创建并使用广播变量的过程如下：

1 在一个类型T的对象obj上使用SparkContext.brodcast(obj)方法，创建一个Broadcast[T]类型的广播变量，obj必须满足Serializable。
2 通过广播变量的.value()方法访问其值。

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)

scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)

Accumulators 累加器

Spark提供Accumulator，主要用于多个节点对一个变量进行共享性的操作。Accumulator只提供了累加的功能。但是却给我们提供了多个task对一个变量并行操作的功能。但是task只能对Accumulator进行累加操作，不能读取它的值。只有Driver程序可以读取Accumulator的值。

scala> val accum = sc.accumulator(0, "My Accumulator")
accum: spark.Accumulator[Int] = 0

scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
...
10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

scala> accum.value
res2: Int = 10

accumulator不仅支持java基本类型，也可以通过继承AccumulatorParam来创建自定义累加器类型。

object VectorAccumulatorParam extends AccumulatorParam[Vector] {
  def zero(initialValue: Vector): Vector = {
    Vector.zeros(initialValue.size)
  }
  def addInPlace(v1: Vector, v2: Vector): Vector = {
    v1 += v2
  }
}

// Then, create an Accumulator of this type:
val vecAccum = sc.accumulator(new Vector(...))(VectorAccumulatorParam)

在spark的lazy计算框架中，只有在执行action操作时，累加器的值才会被更新。

val accum = sc.accumulator(0)
data.map { x => accum += x; f(x) }
// Here, accum is still 0 because no actions have caused the <code>map</code> to be computed.