Spark API 详解/大白话解释之 groupBy、groupByKey

最新推荐文章于 2025-09-29 10:25:02 发布

转载最新推荐文章于 2025-09-29 10:25:02 发布 · 5.4k 阅读

spark 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了Apache Spark中RDD的groupBy与groupByKey方法的使用技巧。通过具体示例展示了如何利用这些方法对数据进行分组处理，包括基于自定义函数的分组以及根据字符串长度分组的应用场景。

转载：http://blog.youkuaiyun.com/guotong1988/article/details/50556871

groupBy(function)
function返回key，传入的RDD的各个元素根据这个key进行分组

val a = sc.parallelize(1 to 9, 3)
a.groupBy(x => { if (x % 2 == 0) "even" else "odd" }).collect//分成两组
/*结果 
Array(
(even,ArrayBuffer(2, 4, 6, 8)),
(odd,ArrayBuffer(1, 3, 5, 7, 9))
)
*/
   1
2
3
4
5
6
7
8
   1
2
3
4
5
6
7
8

val a = sc.parallelize(1 to 9, 3)
def myfunc(a: Int) : Int =
{
  a % 2//分成两组
}
a.groupBy(myfunc).collect
   1
2
3
4
5
6
   1
2
3
4
5
6

/*
结果
Array(
(0,ArrayBuffer(2, 4, 6, 8)),
(1,ArrayBuffer(1, 3, 5, 7, 9))
)
*/

groupByKey( )

val a = sc.parallelize(List("dog", "tiger", "lion", "cat", "spider", "eagle"), 2)
val b = a.keyBy(_.length)//给value加上key，key为对应string的长度
b.groupByKey.collect
//结果 Array((4,ArrayBuffer(lion)), (6,ArrayBuffer(spider)), (3,ArrayBuffer(dog, cat)), (5,ArrayBuffer(tiger, eagle)))
   1
2
3
4
   
    
   
   1
2
3
4