sparkRDD高级算子 combineByKey函数详解

spark中高级算子：combineByKey函数详解

combineByKey函数源码如下：

  def combineByKey[C](
      createCombiner: V => C,        //当前值作为参数，可被认为初始化操作
      mergeValue: (C, V) => C,       //在分区中操作，把当前的元素V合并到上次结果的C中
      mergeCombiners: (C, C) => C): RDD[(K, C)] = self.withScope {    //把每个分区的结果进行最终的计算
    combineByKeyWithClassTag(createCombiner, mergeValue, mergeCombiners)(null)
  }

以下两个示例来讲解combineByKey函数：

示例1：实现wordCount

   val conf = new SparkConf().setAppName("combineByKey")
   conf.setMaster("local")
   val sc = new SparkContext(conf)
   //读取hdfs文件并创建rdd对象 hello.txt文件如下：
   val rdd = sc.textFile("hdfs://master:9000/user/hadoop/spark/xxx.txt")
   val result = rdd.flatMap(_.split(" ")).map((_,1)).combineByKey(x=>x,(m:Int,n:Int)=>(m+n),(a:Int,b:Int)=>(a+b)).collect
   println(result.toBuffer)

执行结果如下：

(m:Int,n:Int) => (m+n)是对每个分区中元素进行的操作，(a:Int,b:Int) => a+b 得到每个分区的结果进行最后的累加。

示例2：将数组中的1的放入一个集合中，2的放到一个集合中

  利用并行化方式创建rdd
  val rdd2 = sc.parallelize(Array((1, "dog"), (2, "gnu"), (2, "salmon"), (2, "rubbit"), (1, "turkey"), (2, "wolf"), (2, "bear"), (2, "bee")), 3)
  val result2 = rdd2.combineByKey(List(_),(m:List[String],n:String)=>m:+n,(a:List[String],b:List[String])=>a:::b).collect()
  println(result2.toBuffer)

执行结果如下：

1、List(_):初始化一个List集合。

2、(m:List[String],n:String) => m:+n,其中m:List[String]是分区中的第一个元素，所以创建一个list，n为当前的元素，执行m:+n,把n元素放到m集合中。

3、(a:List[String],b:List[String]) => a:::b,每个分区的结果都是一个List，a:::b则把他们连接一起。