(四)Spark常用数据准备，重分布，持久化算子

for your wish

已于 2022-02-23 17:39:23 修改

阅读量633

点赞数

CC 4.0 BY-SA版权

分类专栏：面试Interview 文章标签： spark

于 2021-11-26 17:56:55 首次发布

本文链接：https://blog.youkuaiyun.com/someInNeed/article/details/121564640

Spark 同时被 2 个专栏收录

41 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

面试Interview

20 篇文章

订阅专栏

本文介绍了Spark中数据准备和预处理的关键操作，包括union和sample算子的使用，以及repartition和coalesce在调整数据分布时的区别。union用于合并相同类型RDD，sample用于数据采样。repartition可以灵活调整并行度，但引入Shuffle，而coalesce在降低并行度时避免Shuffle。最后讨论了结果收集的算子first、take、collect和saveAsTextFile，以及使用它们时应注意的性能问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据准备

union

先来说说数据准备阶段的 union 和 sample。union在我们日常的开发中，union 非常常见，它常常用于把两个类型一致、但来源不同的 RDD 进行合并，从而构成一个统一的、更大的分布式数据集。例如，在某个数据分析场景中，一份数据源来自远端数据库，而另一份数据源来自本地文件系统，要将两份数据进行合并，我们就需要用到 union 这个操作。具体怎么使用呢？我来举个例子。给定两个 RDD：rdd1 和 rdd2，调用 rdd1.union(rdd2) 或是 rdd1 union rdd2，其结果都是两个 RDD 的并集，具体代码如下：

// T：数据类型
val rdd1: RDD[T] = _
val rdd2: RDD[T] = _
val rdd = rdd1.union(rdd2)
// 或者rdd1 union rdd2

特别强调的是，union 操作能够成立的前提，就是参与合并的两个 RDD 的类型必须完全一致。也就是说，RDD[String]只能与 RDD[String]合并到一起，却无法与除 RDD[String]以外的任何 RDD 类型（如 RDD[Int]、甚至是 RDD[UserDefinedClass]）做合并。对于多个类型一致的