Spark快速大数据分析系列值第六章Spark编程进阶

共享变量

1. 累加器
2. 广播变量

累加器

提供了将工作节点中的值聚合到驱动器程序中的简单语法

例子：计算空行数

val sc = new SparkContext(...)
val file = sc.textFile("file.txt")
val blankLines = sc.accumulator(0)                           // 创建Accumulator[Int]并初始化为0
val callSigns = file.flatMap(line => {
        if (line == "") {
                blankLines += 1 // 累加器加1
        }
        line.split(" ")
})
callSigns.saveAsTextFile("output.txt")
println("Blank lines: " + blankLines.value)

总结起来就是：

• 通 过 在 驱动器中调用 SparkContext.accumulator(initialValue) 方法,创建出存有初始 值 的 累 加 器。 返 回 值 为 org.apache.spark.Accumulator[T] 对 象, 其 中 T 是 初 始 值initialValue 的类型。
  

• Spark 闭包里的执行器代码可以使用累加器的 += 方法(在 Java 中是 add)增加累加器的值。

• 驱动器程序可以调用累加器的 value 属性(在 Java 中使用 value() 或 setValue())来访问累加器的