Spark的累加变量

最新推荐文章于 2024-01-13 17:37:27 发布

CatherineHuangTT

最新推荐文章于 2024-01-13 17:37:27 发布

阅读量1k

点赞数

分类专栏： Spark学习随笔

本文链接：https://blog.youkuaiyun.com/CatherineHuangTT/article/details/78605587

版权

Spark学习随笔专栏收录该内容

32 篇文章

订阅专栏

当数据需要做累加的时候需要设置累加变量（比如求UV VV的时候）

设置累加变量的步骤：

scala> val accum = sc.accumulator(0, "My Accumulator")
accum: spark.Accumulator[Int] = 0
scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)...10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s
scala> accum.valueres2: Int = 10