spark中的shared variables

最新推荐文章于 2019-02-14 23:25:58 发布

12345677654321000000

最新推荐文章于 2019-02-14 23:25:58 发布

阅读量516

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/zhoudetiankong/article/details/52668874

spark 专栏收录该内容

18 篇文章

订阅专栏

本文介绍了Apache Spark中的两种共享变量：broadcast variables与accumulators。broadcast variables用于分发只读数据到各个计算节点，提高效率；accumulators则用于实现全局计数等操作，确保在action操作中的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark中涉及到共享变量的话，有两种办法：

一.

broadcast variables 只读变量，创建后将向所有的executor节点进行分发。各个executor计算是，可以取出这个变量，来参与计算。相比直接将需要的文件拷贝到各个节点，更加高效。spark在计算的每个stage将会自动广播公共数据到计算节点。

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)

scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)

二.

accumulators 类似于MapReduce中Counter，可以用来做全局记数。accumulators保证在每个action操作中，不会由于task任务失败重新计算而导致值不准确。但是在transfomation中，并不提供这个保证。

scala> val accum = sc.accumulator(0, "My Accumulator")
accum: spark.Accumulator[Int] = 0

scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
...
10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

scala> accum.value
res2: Int = 10

当然，spark也支持自己定义accumulators.