Spark中flatMap 和 map的区别

struggle@徐磊

于 2020-04-03 15:06:46 发布

阅读量414

点赞数 1

分类专栏： # Spark Core 文章标签： spark

本文链接：https://blog.youkuaiyun.com/qq_44472134/article/details/105293599

版权

Spark Core 专栏收录该内容

11 篇文章

订阅专栏

本文探讨了在Apache Spark中使用flatMap操作来处理Resilient Distributed Datasets(RDD)的方法。flatMap可以将输入的数据集中的每个元素转换为多个元素，并将这些元素扁平化成一个新的RDD，这对于处理以逗号分隔的字符串数据特别有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

private val value1: RDD[Array[String]] = value.map(_.split(","))
# flatMap 简而言之flatMap起到的作用就是压缩的，吧以 逗号切割之后的，又重新弄到一块
private val value2: RDD[String] = value.flatMap(_.split(","))