spark--transform算子--flatMap

最新推荐文章于 2023-05-16 09:27:54 发布

原创最新推荐文章于 2023-05-16 09:27:54 发布 · 307 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #flatMap

spark 专栏收录该内容

30 篇文章

订阅专栏

本文通过一个具体的 Scala 示例介绍了 Apache Spark 中 flatMap 函数的工作原理。该示例演示了如何使用 flatMap 将输入数据集中的每个元素转换为多个元素，并展示了 flatMap 与 map 函数的不同之处。

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by liupeng on 2017/6/16.
  */
object T_flatMap {

  System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5")

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("flatMap_test").setMaster("local")
    val sc = new SparkContext(conf)

    val nameList : List[String] = List(
      "hello liupeng", "hello liuxi", "hello xiaoma"
    )
    //flatMap = flat + map返回多个元素
    val nameRDD = sc.parallelize(nameList)
    val words = nameRDD.flatMap(line => line.split(" "))
    words.foreach(println)
  }
}

运行结果：

hello
liupeng
hello
liuxi
hello
xiaoma