Shuffle Read Time调优

最新推荐文章于 2021-12-16 18:16:11 发布

初心江湖路

最新推荐文章于 2021-12-16 18:16:11 发布

阅读量4.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据 Spark 文章标签： shuffle read time优化 spark调优

本文链接：https://blog.youkuaiyun.com/weixin_43878293/article/details/95751422

本文探讨了Spark任务中的shuffle read time优化，指出它主要与数据量、网络IO、资源和参数配置有关。建议通过调整序列化方式为kryo、优化`spark.reducer.maxReqsInFlight`和`spark.reducer.maxSizeInFlight`参数来改善shuffle read time。对于shuffle时间不均匀的情况，可能由于executor内存过小导致频繁GC，解决方案是增大executor内存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先看第一张Spark任务执行时间轴的图：
红色部分是任务反序列化时间，黄色部分是shuffle read时间，绿色是实际计算任务执行时间，这里我们先不讨论任务反序列化时间长，下一篇文章说任务反序列化时间长怎么解决
在这里插入图片描述

1、首先shuffle read time是什么？
shuffle发生在宽依赖，如repartition、groupBy、reduceByKey等宽依赖算子操作中，在这些操作中会对Dataset数据集按照给定的规则重新洗牌，洗牌完成之后会落盘。然后对应的分区会被对应任务fetch到任务所在节点进行计算。这个fetch的过程所消耗的时间就是shuffle read time。
2、shuffle read time长短跟什么相关？
数据量、网络IO、资源、参数配置、并发度
3、以上图片里这种情况，可以看到shuffle read time比较均匀，优化方式：

如果使用的序列化方式不是kryo，先将序列化和反序列化方式换成kryo
将以下两个参数做适当调整
spark.reducer.maxReqsInFlight=512
单次最大拉取请求数，这个设置过大容易造成分区数据所在节点压力大，设置太小会大大影响并发拉取数据的效率，默认Int.MaxValue
spark.reducer.maxSizeInFlight=128m
单次每个reduce任务能同时从map output拉取的最大数据量，如果资源不够的话还是要小一点，默认48m
注意：在分区不多，并发度较小的情况下，这两个参数不专门设置也不会有太大影响。但是如果设置不合理的话，增加资源是没有多少效果的，方向不对