RDDs基本操作之Transformations（一）

最新推荐文章于 2022-07-08 14:29:03 发布

chengqiuming

最新推荐文章于 2022-07-08 14:29:03 发布

阅读量600

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： Spark

本文链接：https://blog.youkuaiyun.com/chengqiuming/article/details/79254810

Spark 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了Apache Spark中RDD的几种常用转换操作，包括map、filter和平铺展开（flatMap）。通过具体的Scala示例展示了如何使用这些转换来处理数据集，实现如单词计数、筛选等常见任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一 Transformations

Transformations（转换）：从之前的RDD构建一个新的RDD，像map()和filter()

二逐元素Transformations

1 map函数

map():map()接收函数，把函数应用到RDD的每一个元素，返回新RDD。

scala> val lines = sc.parallelize(Array("hello","spark","hello","world","!"))
lines: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[14] at parallelize at <console>:24
scala> lines.collect()
res8: Array[String] = Array(hello, spark, hello, world, !)
scala> val lines2=lines.map(word=>(word,1))
lines2: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD[15] at map at <console>:26
scala> lines2.collect()
res9: Array[(String, Int)] = Array((hello,1), (spark,1), (hello,1), (world,1), (!,1))

2 filter函数

filter()接收函数，返回只包含满足filter()函数的元素的新RDD

scala> val lines3=lines.filter(word=>word.contains("hello"))
lines3: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[16] at filter at <console>:26
scala> lines3.collect()
res10: Array[String] = Array(hello, hello)

3 flatMap函数

对每个输入元素，输出多个输出元素。

flat压扁的意思，将RDD中元素压扁后返回一个新的RDD

scala> val inputs = sc.textFile("/root/helloSpark.txt")
inputs: org.apache.spark.rdd.RDD[String] = /root/helloSpark.txt MapPartitionsRDD[1] at textFile at <console>:24
scala> inputs.collect()
res0: Array[String] = Array(go to home hello java, so many to hello word kafka java, go to so)
scala> val lines=inputs.flatMap(line=>line.split(" "))
lines: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[2] at flatMap at <console>:26
scala> lines.collect()
res1: Array[String] = Array(go, to, home, hello, java, so, many, to, hello, word, kafka, java, go, to, so)