Spark中map与flatMap

最新推荐文章于 2024-10-09 09:08:38 发布

OddBillow

最新推荐文章于 2024-10-09 09:08:38 发布

阅读量301

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark map flatMap

本文链接：https://blog.youkuaiyun.com/quitozang/article/details/76165577

Spark 专栏收录该内容

18 篇文章

订阅专栏

本文介绍了Apache Spark中RDD的两种基本转换操作：map和flatMap。通过具体示例展示了这两种操作的区别及其实现方式，并解释了flatMap如何先进行map操作然后进行扁平化处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.{SparkConf, SparkContext}
/**
  * Created by zangtt on 17-3-9.
  */
object test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
    val spark = new SparkContext(conf)
    var s = Array(Array(1,1),Array(2,2),Array(3,3),Array(4,4))
    val rdd = spark.parallelize(s, 2)
    val map = rdd.map(x => {
      x
    }).collect()
    println(map.length + " " + map(2)(1))
  }
}

Output：（（1，1），（2，2），（3，3），（4，4））

import org.apache.spark.{SparkConf, SparkContext}
/**
  * Created by zangtt on 17-3-9.
  */
object test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
    val spark = new SparkContext(conf)
    var s = Array(Array(1,1),Array(2,2),Array(3,3),Array(4,4))
    val rdd = spark.parallelize(s, 2)
    val map = rdd.flatMap(x => {
      x
    }).collect()
    println(map.length + " " + map(0))
  }
}