Spark---Shuffle调优之调节map端内存缓冲与reduce端内存占比

本文详细介绍了Spark Shuffle过程中map端内存缓冲和reduce端内存占比的重要性,以及不调优可能导致的频繁磁盘IO问题。通过调整`spark.shuffle.file.buffer`和`spark.shuffle.memoryFraction`参数,可以减少溢写次数,提升性能。建议根据Spark UI监控数据进行调优,避免过度占用内存资源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、map端内存缓冲,reduce端内存占比概述

map端内存缓冲,reduce端内存占比;很多资料、网上视频,都会说,这两个参数,是调节shuffle性能的不二选择,很有效果的样子,实际上,不是这样的。

以实际的生产经验来说,这两个参数没有那么重要,往往来说,shuffle的性能不是因为这方面的原因导致的

但是,有一点点效果的,broadcast,数据本地化等待时长;这两个shuffle调优的小点,其实也是需要跟其他的大量的小点配合起来使用,一点一点的提升性能,最终很多个性能调优的小点的效果,汇集在一起之后,那么就会有可以看见的还算不错的性能调优的效果。

spark.shuffle.file.buffer,默认32k
spark.shuffle.memoryFraction,0.2

2.、原理图及分析

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值