Spark学习笔记整理 --- 2018-07-29【Spark算子的键值对RDD】

最新推荐文章于 2022-05-04 20:58:40 发布

杨鑫newlfe

最新推荐文章于 2022-05-04 20:58:40 发布

阅读量581

点赞数

CC 4.0 BY-SA版权

分类专栏： Scala 大数据挖掘与大数据应用案例文章标签： Spark RDD KeyValue

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/81273808

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 ¥9.90 ¥99.00

订阅专栏

Scala

108 篇文章

订阅专栏

这篇博客详细介绍了Spark中键值对RDD的转换操作，包括reduceByKey、groupByKey、sortByKey、join、cogroup等，并通过实例解析了它们的功能和用法。如reduceByKey用于合并相同键的值，groupByKey将相同键的值分组，sortByKey按键排序，join则用于内连接操作。

常用的键值对转换操作

常用的键值对转换操作包括reduceByKey()、groupByKey()、sortByKey()、join()、cogroup()等，下面我们通过实例来介绍。

1.reduceByKey(func)
reduceByKey(func)的功能是，使用func函数合并具有相同键的值。
比如，reduceByKey((a,b) => a+b)，有四个键值对(“spark”,1)、(“spark”,2)、(“hadoop”,3)和(“hadoop”,5)，
对具有相同key的键值对进行合并后的结果就是：(“spark”,3)、(“hadoop”,8)。可以看出，(a,b) => a+b这个Lamda表达式中，a和b都是指value，
比如，对于两个具有相同key的键值对(“spark”,1)、(“spark”,2)，a就是1，b就是2。
我们对上面第二种方式创建得到的pairRDD进行reduceByKey()操作，

代码如下：

scala> pairRDD.reduceByKey((a,b)=>a+b).foreach(println)
(Spark,2)
(Hive,1)
(Hadoop,1)

2.groupByKey()
groupByKey()的功能是，对具有相同键的值进行分组。
比如，对四个键值对(“spark”,1)、(“spark”,2)、(“hadoop”,3)和(“hadoop”,5)，采用groupByKey()后得到的结果是：(“spark”,(1,2

了解本专栏