Spark之groupByKey和reduceByKey的区别

【spark】 常用转换操作：reduceByKey和groupByKey

1.reduceByKey（func）

功能：

使用func函数合并具有相同键的值

用scala编写

def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setAppName("Test3").setMaster("local[*]"))
    val data = Array("one","two","three","two","two","three")
    val arrayRDD: RDD[String] = sc.makeRDD(data)
    val mapRDD: RDD[(String, Int)] = arrayRDD.map(x=>(x,1))
  val data2: RDD[(String, Int)] = mapRDD.reduceByKey(_+_)
    data2.collect().foreach(println)
    sc.stop()
  }

运行结果：

(two,3)
(one,1)
(three,2)

我们需要留意的事情是，我们调用了reduceByKey操作返回的结果类型是：

	org.apache.spark.rdd.RDD[(String, Int)]

注意：这里的collect()方法的作用是收集分布在各个worker的数据到Driver节点

如果不使用这个方法，每个worker的数据只在自己本地显示，并不会在driver节点显示。

2.groupByKey

功能：

对具有相同的key的value进行分组

  def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setAppName("Test3").setMaster("local[*]"))
    val data = Array("one","two","three","two","two","three")
    val arrayRDD: RDD[String] = sc.makeRDD(data)
    val mapRDD: RDD[(String, Int)] = arrayRDD.map(x=>(x,1))
 val data2: RDD[(String, Iterable[Int])] = mapRDD.groupByKey()
    data2.collect().foreach(println)
    sc.stop()
  }

我们同样是对跟上面同样的pairRdd进行groupByKey()操作

运行结果：

(two,CompactBuffer(1, 1, 1))
(one,CompactBuffer(1))
(three,CompactBuffer(1, 1))

可以看出，结果并不是把具有相同的key值进行相加，而是就简单的进行了分组，生成一个sequence（序列）。

其实，我们可以把groupByKey()当作reduceByKey(func)操作的一部分，

reduceByKey(func)先是对rdd进行groupByKey()然后在对每个分组进行func操作。

mapRDD.reduceByKey(_+_).collect.foreach(println)
等同于
mapRDD.groupByKey().map(t => (t._1,t._2.sum)).collect.foreach(println)

我们这里通过groupByKey()后调用map遍历每个分组，然后通过t => (t._1,t._2.sum)对每个分组的值进行累加。

因为groupByKey()操作是把具有相同类型的key的值收集到一起聚合成一个集合，集合中有个sum方法，对所有元素进行求和。

注意，（k，v）形式的数据，我们可以通过 ._1，._2 来访问键和值，

用占位符表示就是 _._1，_._2，这里前面的两个下划线的含义是不同的，前边下划线是占位符，后边的是访问方式。 

我们记不记得 ._1，._2，._3 是元组的访问方式。我们可以把键值看成二维的元组。

 

3.reduceByKey(func)和groupByKey()的区别

reduceByKey()对于每个相同的key对应的多个value进行了merge（合并）操作，最重要的是它能够先在本地进行merge操作。merge可以通过func自定义。

groupByKey()也是对每个相同的key对应的多个value进行操作，但是只是汇总生成一个sequence，本身不能自定义函数，只能通过额外通过map(func)来实现。

 

注意：

使用reduceByKey()的时候，本地的数据先进行merge然后再传输到不同节点再进行merge，最终得到最终结果。

而使用groupByKey()的时候，并不进行本地的merge，全部数据传出，得到全部数据后才会进行聚合成一个sequence，

groupByKey()传输速度明显慢于reduceByKey()。

虽然groupByKey().map(func)也能实现reduceByKey(func)功能，但是，优先使用reduceByKey(func)