cyz0202的博客

Spark2.4.5RDD的转换操作学习mapPartitions例子：给定rdd1 = sc.makeRDD(1 to 10, 4)，请输出各partition的"|“拼接结果；=> rdd1.mapPartitions(x => Iterator(x.mkString(”|"))).collectnote：要注意Iterator的使用是为了满足partition的要求；...

spark-api 三连combineByKeyaggregateByKeyfoldByKeycombineByKeycombineByKey定义如下图所示举个例子：一组(key,value)，统计各个key的平均值；定义中的V默认为(key,value)中的value；实现如下（类型不声明会报错，比较奇怪）aggregateByKeyaggregateByKey定义如下图所示：比...