Spark 高性能算子

Spark 高性能算子

1. map 与 mapPartitions

1.优缺点

mapPartition的优点：

普通的map执行一个partition中有1.2万条数据。ok，那么function要执行和计算1.2万次。

如果使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有的partition数据。只要执行一次就可以了，性能比较高。

mapPartition的缺点：

普通的map操作一次function的执行就处理一条数据。那么如果内存不够用的情况下，回收内存就OK，一般来说普通的map操作通常不会导致内存的OOM异常。

但是MapPartitions操作，对于大量数据来说，比如甚至一个partition，200万数据，一次传入一个function以后，那么可能一下子内存不够，可能导致OOM，内存溢出。

2.使用场景

在项目中先要预估一下每个partition中rdd的数量，同时了解内存大小，当分析的数据量不是特别大的时候且不会出现OOM，选择MapPartitions。

2. foreach 与 foreachPartition

1.优缺点

foreachPartition的优点：

foreachPartition一般是用来将处理好的数据保存到数据库，使用它有三大好处：

• 调用一次func函数，一次传入一个partition所有的数据
• 一个分区创建一个数据库连接（数据库连接的创建和销毁，都是非常非常消耗性能的）