Spark 中 map 与 flatMap 的区别

最新推荐文章于 2025-06-21 10:25:26 发布

转载最新推荐文章于 2025-06-21 10:25:26 发布 · 3.1k 阅读

spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了Spark中map和flatMap函数的区别与用法。map函数对每条输入应用指定操作并返回一个对象；flatMap则先执行类似map的操作，再将所有结果扁平化为单一数组。通过具体例子展示了两种函数在处理文本文件时的不同行为。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

vi test.txt
this is 1st line
we have 2nd line too

val tf = sc.textFile("test.txt")
//操作1
var mapResult=tf.map(line=>line.split("\\s+"))
-- Array[Array[String]] = Array(Array(this,is,1st,line),Array(we,have,2nd,line,too))
//操作2
var mapResult=tf.flatMap(line=>line.split("\\s+"))
-- Array[String] = Array(this,is,1st,line,we,have,2nd,line,too)

总结：
- Spark 中 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：
操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象
操作2：最后将所有对象合并为一个对象