
Spark
蜜叶
这个作者很懒,什么都没留下…
展开
-
理解 Spark RDD 算子 aggregate
理解Spark核心算子aggregatedef aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U这个算子一共有两个参数列表,第一个参数列表中传递 (zeroValue) (第零个值)第二个参数列表中传递两个函数,第一个函数seqOp用于处理每个分...原创 2019-03-20 20:27:56 · 822 阅读 · 0 评论 -
详解Spark核心算子 : aggregateByKey和combineByKey
详解Spark核心算子 : aggregateByKey和combineByKeyaggregateByKey aggregateByKey有三种声明def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner) (seqOp: (U, V) => U, combOp: (U, U) =&g...原创 2019-03-21 16:17:13 · 2476 阅读 · 0 评论