Spark的操作算子

Spark的操作算子

一、在Apache Spark中，RDD（弹性分布数据集）是一个非常重要的核心概念，很多计算必须依赖于RDD。一般来说，RDD包括两个操作算子：

1. 变换：变换算子的特点是懒执行，变换操作并不会立即执行，而是需要等到有动作操作的时候才会真正进行计算，并得到结果。
2. 动作：动作算子的特点是立即执行，动作算子会对RDD计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如HDFS）中。

二、Spark的操作算子（以PySpark为例）

1. first操作

   动作算子，rdd.first()，获取rdd中的第一个元素。

2. max操作

   动作算子，rdd.max()，获取rdd中的最大的元素。

3. sum操作

   动作算子，rdd.sum()，返回rdd中的求和数值。

4. take操作

   动作算子，rdd.take(n)，获取rdd中前n个元素。

5. top操作

   动作算子，rdd.top(n)，获取降序后的rdd中前n个元素。

6. collect操作

   动作算子，rdd.collect()，从集群中拉取rdd的元素到driver端，转化为数组。

7. collectMap操作

   动作算子，rdd.collectMap()，与collect操作类似，适用于键值RDD，将它们转换为Map映射以保留其键值结构。

8. countByKey操作

   动作算子，rdd.countByKey()，统计键值rdd中每个key的数量，以字典形式返回

9. countByValue操作

   动作算子，rdd.countByValue()，统计rdd中每个元素的数量，以字典的形式返回。

10. glom操作

    变换算子，rdd.glom()，将rdd各分区的元素转化为数组形式。

11. coalesce操作

    变换算子，rdd.coalesce(n, isShuffle=Flase)，对rdd重新划分n个区，其中isShuffle（默认为False）表示重新分区过程中是否进行混淆操作。

12. combineByKey操作

    变换算子，rdd.combineByKey(createCombiner, mergeValue, mergeCombiners, numPartitions=None, partitionFunc=portable_hash)，其中前3个参数为必填，为操作函数。

    （1）createCombiner(V) -> C函数，对每个key下的第一个值V进行初始化成C，如类型转换等。

    （2）mergeValue(C, V) -> C函数,将key下的其它值添加到(1)初始化的C中.

    （3）mergeCombiners(C, C2) -> C函数,对(2)中以完成合并的各key组合C,进行合并.

13. distinct操作

    变换算子，rdd.distinct()，对rdd去重。

14. filter操作

    变换算子，rdd.filter(func)，返回rdd中满足func的元素。

15. flatMap操作

    变换算子，rdd.flatMap(func)，对rdd中的元素按func处理，将处理进行扁平化处理。

16. flatMapValues操作

    变换算子，rdd.flatMapValues(func)，对键值格式的rdd中的value进行func定义的逻辑处理。