RDD 常用方法

最新推荐文章于 2024-07-29 20:13:44 发布

weixin_34397291

最新推荐文章于 2024-07-29 20:13:44 发布

阅读量255

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 scala

原文链接：http://www.cnblogs.com/huanhuanang/p/7423591.html

本文介绍了Apache Spark中RDD的两种常用操作：countByValue用于计数每个唯一元素的数量，并返回一个包含元素及其计数的Map；zip操作则将两个RDD中的元素对应组合成元组。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、countByValue

scala> val a = sc.parallelize(List(1,2,3,4,5,2,3,1,1,2))
a: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:27

scala> val b = a.countByValue()
b: scala.collection.Map[Int,Long] = Map(5 -> 1, 1 -> 3, 2 -> 3, 3 -> 2, 4 -> 1)

scala> b.foreach(println)
(5,1)
(1,3)
(2,3)
(3,2)
(4,1)

2、zip

scala> val a = sc.parallelize(List(1,2,3,4,5))
a: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[4] at parallelize at <console>:27

scala> val b = sc.parallelize(List('a','b','c','d','e'))
b: org.apache.spark.rdd.RDD[Char] = ParallelCollectionRDD[5] at parallelize at <console>:27

scala> val c = a.zip(b)
c: org.apache.spark.rdd.RDD[(Int, Char)] = ZippedPartitionsRDD2[6] at zip at <console>:31

scala> c.foreach(println)
(2,b)
(3,c)
(5,e)
(1,a)
(4,d)