Spark Shuffle调优之调节map端内存缓冲与reduce端内存占比

最新推荐文章于 2024-03-11 14:53:51 发布
原创 最新推荐文章于 2024-03-11 14:53:51 发布 · 417 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Spark Shuffle调优的关键，聚焦于map task的内存缓冲参数`spark.shuffle.file.buffer`和reduce端内存占比参数`spark.shuffle.memoryFraction`。默认配置可能导致频繁磁盘IO，影响性能。调优方案包括观察Spark UI，根据shuffle write和read的量调整参数，以减少溢写次数并优化聚合操作。

 

一. 引言

本文首先介绍Spark中的两个配置参数:

spark.shuffle.file.buffer map端内存缓冲 spark.shuffle.memoryFraction reduce端内存占比

很多博客会说上面这两个参数是调节Spark shuffle性能的利器，实际上并不是这样的。

以实际的生产经验来说，这两个参数没有那么重要，往往来说shuffle的性能不是因为这方面的原因决定的，但是整体来说还是有一点点效果的。

这两个shuffle调优的小点能带来一些性能的提升，与其他调优小点结合起来最终可以会有可以看见的还算不错的性能调优的效果。

 

二. 调优原理

默认情况下shuffle的map task输出到磁盘文件的时候，统一都会先写入每个task自己关联的一个内存缓冲区。这个缓冲区大小，默认是32kb。

每一次当内存缓冲区满溢之后才会进行spill操作(溢写操作)溢写到磁盘文件中去。

reduce端task拉取到数据之后会用hashmap这种数据格式来对各个key对应的values进行汇聚。针对每个key对应的values执行我们自定义的聚合函数的代码，比如_ + _

最低0.47元/天 解锁文章
Spark核心知识要点（八）Shuffle配置调优
ytp552200ytp的博客
07-25 1693
Spark核心知识要点（八）Shuffle配置调优
MapReduce性能优化秘籍
.
05-26 908
1. MapReduce跑的慢的原因 MapReduce 程序效率的瓶颈在于两点： 计算机性能 CPU、内存、磁盘、网络 I/O 操作 数据倾斜 map 和 reduce 数设置不合理 map 运行时间太长，导致 reduce 等待过久 小文件过多 大量的不可分块的超大文件（例：通过 gzip 压缩后的文件） spill（溢写）次数过多 merge（map 端合并或 reduce 端合并）次数...
大数据面试题——Spark的Shuffle配置调优（八）
qq_41544550的博客
10-24 893
1、Shuffle优化配置 - spark.shuffle.file.buffer 默认值：32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。 调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如64k），从而减少shuffle write过程中溢写磁盘文件的次数，也就可以减少磁盘IO次数，进而提...
spark调优 shuffle调节map端内存缓冲与reduce端内存占比
mn_kw的博客
07-18 409
spark.shuffle.file.buffer,    默认是32k spark.shuffle.memoryFraction,   0.2 map端内存缓冲，reduce端内存占比   默认情况下，shuffle的map task,输出到磁盘文件的时候，统一都会先写入到每个task自己关联的一个内存缓冲区， 这个默认的内存缓冲区默认是32Kb 每一次当内存缓冲区满溢后，然后才会进...
spark shuffle调优之map端内存缓冲reduce端内存占比
lzf的博客
04-13 770
spark.shuffle.file.buffer，默认32k spark.shuffle.memoryFraction，0.2 map端内存缓冲，reduce端内存占比；很多资料、网上视频，都会说，这两个参数， 是调节shuffle性能的不二选择，很有效果的样子，实际上，不是这样的。 以实际的生产经验来说，这两个参数没有那么重要，往往来说，shuffle的性能不是因为 这方面的原因导致的 但是，...
spark shuffle调优之调节map端内存缓冲与reduce端内存占比
03-16
Spark Shuffle调优中，调节Map端内存缓冲与Reduce端内存占比是非常重要的一步。 在Map端，可以通过调节spark.shuffle.file.buffer参数来控制内存缓冲大小，从而提高Map端的性能。一般情况下，可以将该参数设置为128...
Spark---Shuffle调优之调节map端内存缓冲与reduce端内存占比
tianqinglei的博客
09-16 2173
1、map端内存缓冲，reduce端内存占比概述 map端内存缓冲，reduce端内存占比；很多资料、网上视频，都会说，这两个参数，是调节shuffle性能的不二选择，很有效果的样子，实际上，不是这样的。 以实际的生产经验来说，这两个参数没有那么重要，往往来说，shuffle的性能不是因为这方面的原因导致的 但是，有一点点效果的，broadcast，数据本地化等待时长；这两个shuffl
Spark调优之Shuffle调优 调节map端内存缓冲和reduce端内存占比
李献计的博客
07-07 919
map端内存缓冲: spark.shuffle.file.buffer (map端内存缓冲，默认32kb) reduce端内存占比: spark.shuffle.memoryFraction (reduce端内存占比，默认0.2，20%) 理论基础和问题背景： 首先需要声明的是，这两个参数会被认为是调节shuffle的不二选择，但事实是调节这两个参数会对shuffle调优有效果，但并不是决定性的。...
Spark 性能调优之Shuffle调优
@小刘同学nice
07-07 5271
Shuffle调优一：调节map端缓冲区大小 在Spark任务运行过程中，如果shuffle的map端处理的数据量比较大，但是map端缓冲的大小是固定的，可能会出现map端缓冲数据频繁spill溢写到磁盘文件中的情况，使得性能非常低下，通过调节map端缓冲的大小，可以避免频繁的磁盘IO操作，进而提升Spark任务的整体性能。 map端缓冲的默认配置是32KB，如果每个task处理640KB的数据，...
sparkJob的mapTask和reduceTask
互联网知识分享
07-31 668
Spark是一个分布式计算框架，通常用于大规模数据处理和分析任务。在Spark中，一个job会被拆分成多个tasks，这些tasks会在不同的机器上并行执行，从而实现快速的数据处理。在Spark中，主要有两种类型的tasks，分别是Map Task和。Map Task（映射任务）：Map Task是Spark中的并行计算基本单位，它负责对初始输入数据进行切分、转换和计算，以生成中间结果。在Map Task阶段，输入数据会被切分成多个小块，每个块由一个。
关于Spark和MapReduce，一篇文带你看清楚
最新发布
star
03-11 5078
非结构化数据：指数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种格式的图片、视频等。其实除了结构化数据和非结构化数据，还有一类是半结构化数据，那什么是半结构化数据？半结构化数据：指非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、E-mail等；结构化数据类型是一种用户定义的数据类型，它包含一些非原子的元素，更确切地说，这些数据类型是可以分割的，它们既可以单独使用，又可以在适当情况下作为一个独立的单元使用。
java map 内存分配_mapreduce 内存分配
weixin_42602726的博客
02-25 880
稍微有点mapreduce使用经验的同学肯定对OOM不陌生，对的，我目前在mapReduce里面遇到的最多的报错也是内存分配出错，所以看到好多hadoop执行脚本里面有好多关于内存的参数，虽然是知道和内存分配有关系，但是我依然不太清楚具体的原理，从网上查阅相关资料，看到博主整理的，甚是欣慰，稍作整理如下：关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情，单独查任何一个...
spark常用命令 Spark SQL – map() vs mapPartitions() | flatMap()
weixin_42817995的博客
04-03 638
注意1：DataFrame没有可与DataFrame一起使用的map（）转换，因此您需要先将DataFrame转换为RDD。 注意2：如果您有大量初始化，请使用PySpark mapPartitions（）转换而不是map（），就像mapPartitions（）一样，大量初始化仅对每个分区执行一次，而不对每个记录执行一次。 map()例子1 首先，让我们从列表中创建一个RDD。 from pyspark.sql import SparkSession spark = SparkSession.bu.
Spark小笔记-shuffle小解
vex123的专栏
05-02 1385
1、shuffle 原理 shuffle很昂贵 序列化 cpu 跨节点 网络IO 磁盘读写 文件IO shuffle 操作 repartition *ByKey() join & cogroup 2、shuffle介绍 Hash Shuffle V1 缺点： 一个MapTask对应 R 个bucket，会产生巨量文件(M * R) reduce端使用hashtable存放ShuffleRead的数据，容易OOM Hash Shuffle V2 缺点： ..
spark-shuffle总结及调优
Hark_Hacker的博客
09-18 697
spark1.2 默认使用的是 HashShuffle 写入磁盘流程： 将每个task 处理的数据，按照 key 的 hash 进行分类，从而相同的 key 写入到同一个磁盘文件里面，而每个磁盘文件都只属于下游 stage 的一个 task，将数据写入到磁盘前，会先将数据写入到内存缓冲中，当内存缓冲填满后，溢写到磁盘文件中 不排序，当前 stage 的每个 maptask，会为下个 stage每个 reducetask生成一个文件； 文件数量计算公式...
Spark Shuffle相关参数优化
qq_43012693的博客
12-11 847
原文连接 Spark2.x优化：Shuffle相关参数优化 一、前言 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。 二、相关参数及优化建议 1.spark.shuffle.file.buffer 默认值： 32KB 参数说明： 该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲区中，待缓冲区写满之后，才会溢写到磁盘。
spark性能优化：shuffle调优
qq_14950717的博客
05-17 1294
本文转载自：http://blog.youkuaiyun.com/lw_ghy/article/details/514197601、 shuffle基本概念与常见实现方式：shuffle，是一个算子，表达的是多对多的依赖关系（宽依赖），在类MapReduce计算框架中，是连接Map阶段和Reduce阶段的纽带，即每个Reduce Task从每个Map Task产生数的据中读取一片数据，极限情况下可能触发M*R个
Spark性能调优 Shuffle（二）
yuxiang1014的专栏
01-05 301
1.shuffle原理 什么样的情况下，会发生shuffle？ 在spark中，主要是以下几个算子：groupByKey、reduceByKey、countByKey、join，等等。 什么是shuffle？ groupByKey，要把分布在集群各个节点上的数据中的同一个key，对应的values，都给集中到一块儿，集中到集群中同一个节点上，更严密一点说，就是集中到一个节点的一个execu...
Spark.shuffle.file.buffer 参数入门
鸭梨的博客
02-24 1920
Spark.shuffle.file.buffer 默认值： 32k 参数说明： 该参数用于设置shuffle write任务的bufferedOutputStream的缓冲区大小。 将数据写入磁盘文件之前，将其写入缓冲区，然后在将缓冲区写入磁盘后将其填充。 调整建议： 如果可用内存资源足够，则可以增加此参数的大小（例如64k），以减少在随机写入过程中磁盘文件溢出的次数，从而可以减少磁盘的数量。 IO时间和提高性能在实践中发现，合理调整参数后，性能将提高1％到5％。 参考 Spark performan
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值