16、Spark RDD 操作与芝加哥犯罪数据分析

Spark RDD 操作与芝加哥犯罪数据分析

1. RDD 转换操作

RDD（弹性分布式数据集）API 提供了多种转换操作，从简单的数据集过滤到数据集的分区和重新分区。以下是一些重要且常用的转换操作：
| 操作 | 描述 |
| — | — |
| filter(filterFunc) | 将提供的函数应用于 RDD 的所有元素，仅为返回 true 的元素生成新的 RDD。 |
| map(mapFunc) | 将给定函数应用于 RDD 的所有元素，生成一个新的 RDD。 |
| flatMap(flatMapFunc) | 类似于 map(…) 操作，但会将结果扁平化，然后生成一个新的 RDD 并返回最终结果集。 |
| mapPartitions(mapPartFunc, preservePartitioning) | 通过将提供的函数应用于调用 RDD 的每个分区一次，返回一个新的 RDD。自定义函数必须返回另一个 Iterator[U] ，所有分区（所有迭代器）的组合结果将转换为一个新的 RDD。第二个参数指示是否需要保留分区器。 |
| distinct() | 生成包含调用 RDD 中不同元素的新 RDD。 |
| union(otherDataset) | 将提供的数据集（RDD）与调用 RDD 合并。两个数据集中的公共元素不会被丢弃，它们将出现在最终的 RDD 中。 |
|