【菜鸟系列】spark常用算子总结（scala、java）--map，flatMap，flatMapToPair

最新推荐文章于 2025-06-21 10:25:26 发布

原创

最新推荐文章于 2025-06-21 10:25:26 发布 · 置顶 · 6.3k 阅读

6 ·

CC 4.0 BY-SA版权

博客介绍了Spark中的关键算子map、flatMap和flatMapToPair，详细讲解了它们在Scala和Java中的区别与用法。map实现一对一转换，flatMap实现一对多压平，而flatMapToPair则涉及键值对的处理。在Scala中，map可以直接转换为PairRDD，而在Java中需通过mapToPair实现。同时指出，Java的flatMapToPair需要实现PairFlatMapFunction。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

map，flatMap，flatMapToPair是最常用的算子，map算子的输入和输出是一对一的，也就是子RDD的分区与父RDD的分区时一对一的关系；flatMap是压平，输入和输出是一对多的关系；需要注意的是：scala版本的map可以将RDD转成PairRDD，但是在java版本中，这个功能是通过mapToPair函数实现的，需要实现PairFunction函数；scala版本没有flatMapToPair函数，是通过先flatMap，在map来实现的；java版本的flatMapToPair，需要实现PairFlatMapFunction函数；java版本的flatMap是实现FlatMapFunction

scala
map样例

val conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.makeRDD(List("pandas pip","numpy","pip","pip","pip"))
  //map函数是一对一的，scala中map函数可以将rdd转为pairrdd，java是两个函数，map和mapToPair
  val rdd1 = data.map((_,1))

flatMap样例

  val conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.makeRDD(List("pandas pip","numpy"