cyz0202的博客

Spark2.4.5 RDD的转换操作学习 mapPartitions 例子：给定rdd1 = sc.makeRDD(1 to 10, 4)，请输出各partition的"|“拼接结果； => rdd1.mapPartitions(x => Iterator(x.mkString(”|"))).collect note：要注意Iterator的使用是为了满足partition的要求； ...

spark-api 三连combineByKeyaggregateByKeyfoldByKey combineByKey combineByKey定义如下图所示 举个例子：一组(key,value)，统计各个key的平均值；定义中的V默认为(key,value)中的value；实现如下（类型不声明会报错，比较奇怪） aggregateByKey aggregateByKey定义如下图所示：比...