Spark累加器与广播变量

Spark 累加器与广播变量

一、简介
二、累加器
         2.1 理解闭包
         2.2 使用累加器
三、广播变量

一、简介

在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：

• 累加器：用来对信息进行聚合，主要用于累计计数等场景；
• 广播变量：主要用于在节点间高效分发大对象。

二、累加器

这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期：

var counter = 0
val data = Array(1, 2, 3, 4, 5