Spark 算子调优

星空下的那个人影

已于 2022-06-05 00:21:14 修改

阅读量435

点赞数

分类专栏：大数据面试文章标签： spark

于 2022-06-04 17:33:02 首次发布

本文链接：https://blog.youkuaiyun.com/sb_jb/article/details/125123370

版权

本文探讨了如何通过使用mapPartitions提升性能，避免filter后的数据倾斜问题，利用coalesce压缩分区，优化foreachPartition以减少数据库操作损耗，以及如何通过repartition解决Spark SQL低并行度问题和使用reduceByKey实现预聚合，提升整体性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用mapPartition提升map类操作的性能

数据量不是特别大的时候，都可以用这种MapPartitions系列操作，性能还是非常不错的，是有提升的。

mapToPair----->mapPartitionsToPair

 return actionRDD.mapToPair(new PairFunction<Row, String, Row>() {
   
            @Override
            public Tuple2<String, Row> call(Row row) throws Exception {
   
                return new Tuple2<String, Row>(row.getString(2),row);
            }
        });

   return actionRDD.mapPartitionsToPair(new