Spark的累加器(Accumulator)的使用要点
1、累加器的创建
在驱动器节点中,调用 SparkContext.accumulator(initialValue) 方法,创建出存有初始值的累加器。返回值为 org.apache.spark.Accumulator[T] 对象,其中 T 是初始值initialValue 的类型。
2、累加器值的累加
对于工作节点来说,只能对累加器进行累加值操作,比如python或者sc...
原创
2018-11-28 15:59:47 ·
626 阅读 ·
0 评论