超级会员免费看
本文深入探讨Spark的Broadcast和Accumulator机制。Broadcast提供全局只读的分布式数据，适合存储大且静态的数据；Accumulator则是只写的分布式变量，常用于聚合操作。在实际应用中，自定义Accumulator可以实现复杂功能，如存储任意类型对象，并在值改变时同步到MySQL等数据库。
大数据Spark “蘑菇云”行动第39课：Spark中的Broadcast和Accumulator机制解密
RDD: 分布式私有数据结构；
Broadcast：分布式全局只读数据结构；
Accumulator：分布式全局只写的数据结构；
在生产环境下，我们几乎一定会自定义Accumulator
1，自定义的时候可以让Accumulator非常复杂，基本上可以是任意类型的Java和Scala对象；
2，在自定义Accumulator的时候，我们可以实现一些“技术福利”，例如在Accumulator变化的时候可以把数据同步到MySQL中；
{
{
{
* scala> val accum = sc.accumulator(0)
* accum: org.apache.spark.Accumulator[Int] = 0
*
* scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
* ...
* 10/09/29 18:41:08 INFO SparkContext: Tasks fin
* scala> val accum = sc.accumulator(0)
* accum: org.apache.spark.Accumulator[Int] = 0
*
* scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
* ...
* 10/09/29 18:41:08 INFO SparkContext: Tasks fin
订阅专栏 解锁全文
扫一扫
1156
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
