第22课：Spark性能调优之使用更高性能算子及其源码剖析

最新推荐文章于 2025-02-26 19:53:11 发布

段智华

最新推荐文章于 2025-02-26 19:53:11 发布

阅读量1.1k

点赞数

分类专栏： SparkInBeiJing Spark shuffle

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/72556779

版权

SparkInBeiJing 同时被 2 个专栏收录

81 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Spark shuffle

27 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨Spark性能调优，重点介绍了如何使用更高性能的算子，如reduceByKey和aggregateByKey替代groupByKey以减少Shuffle。同时，建议使用mapPartitions和foreachPartition进行批量数据处理，以及合理利用coalesce和repartition算子整理碎片文件。此外，持久化（persist）算子用于数据复用，mapPartitionsWithIndex则提供了分区索引功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第22课：Spark性能调优之使用更高性能算子及其源码剖析

Spark性能调优之使用更高性能算子的重要性在于同样的情况下，如果使用更高性能的算子，从算子级别给我们带来更高的效率。Spark现在主推的是DataSet这个API接口，越来越多的算子可以基于DataSet去做，DataSet基于天然自带的优化引擎，理论上讲比RDD的性能更高，DataSet弱点是无法自定义很多功能。平时使用来讲，使用的最基本是Shuffle的算子。Shuffle分为2部分：Mapper端和Reducer端。性能调优的准则是尽量不使用Shuffle类的算子，尽量避免Shuffle。在进行Shuffle的时候，将多个节点的同一个Key的数据汇聚到同样一个节点进行Shuffle的操作，基本思路是将数据放入内存中，内存中放不下的话就放入磁盘中。

如果要避免Shuffle，所有的分布式计算框架是产生Map端的Join，2个RDD进行操作，先把RDD的数据收集过来，然后通过SparkContext进行BroadCast广播出去，假设原先是RDD1、RDD2，我们把RDD2广播出去，原来是进行Join，Join的过程肯定是进行某种计算，此时RDD2其实已经不是RDD了，就是一个数据结构体包裹着数据本身，对RDD1进行Join操作，就是一条条遍历数据跟另一个集合里的数据产生某种算法操作。

如果不能避