Spark 源码分析之ShuffleMapTask内存数据Spill和合并

最新推荐文章于 2024-02-26 10:00:00 发布
转载 最新推荐文章于 2024-02-26 10:00:00 发布 · 500 阅读 · 0

本文详细探讨了Spark中ShuffleMapTask的运行机制，包括内存数据溢出到磁盘的处理方式，临时文件的生成与合并过程，以及数据如何按分区和Key进行排序。通过对Spark的Shuffle过程进行深入剖析，帮助读者理解数据处理的底层实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前置条件

  • Hadoop版本: Hadoop 2.6.0-cdh5.15.0
  • Spark版本: SPARK 1.6.0-cdh5.15.0
  • JDK.1.8.0_191
  • scala2.10.7

技能标签

  • Spark ShuffleMapTask 内存中的数据Spill到临时文件
  • 临时文件中的数据是如何定入的，如何按partition升序排序，再按Key升序排序写入(key,value)数据
  • 每个临时文件，都存入对应的每个分区有多少个(key,value)对，有多少次流提交数组，数组中保留每次流的大小
  • 如何把临时文件合成一个文件
  • 如何把内存中的数据和临时文件，进行分区，按key,排序后，再写入合并文件中

内存中数据Spill到磁盘

  • ShuffleMapTask进行当前分区的数据读取(此时读的是HDFS的当前分区,注意还有一个reduce分区，也就是ShuffleMapTask输出文件是已经按Reduce分区处理好的)
  • SparkEnv指定默认的SortShuffleManager,getWriter()中匹配BaseShuffleHandle对象，返回SortShuffleWriter对象
  • SortShuffleWriter，用的是ExternalSorter(外部排序对象进行排序处理),会把rdd.iterator(partition, context)的数据通过iterator插入到ExternalSorter中PartitionedAppendOnlyMap对象中做为内存中的map对象数据,每插入一条(key,value)的数据后，会对当前的内存中的集合进行判断，如果满足溢出文件的条件，就会把内存中的数据写入到SpillFile文件中

原文链接

这里

煊琰
关注
Spark【理论篇】04：Spark的shuffle机制分析
weixin_40612128的博客
03-09 816
Spark【理论篇】04：Spark的shuffle机制分析
spark内存管理源码分析系列之执行内存管理器TaskMemoryManager
进击的数据小白
09-29 883
Spark中Task的执行内存是通过TaskMemoryManger统一管理的，不论是ShuffleMapTask还是ResultTask，Spark都会生成一个专用的TaskMemoryManger对象，然后通过TaskContext将TaskMemoryManger对象共享给该task attempt的所有memory consumers。 TaskMemoryManger自建了一套内存页管理机制，并统一对ON_HEAP和OFF_HEAP内存进行编址，分配和释放。 概述 TaskMemoryMang.
Spark 源码分析之ShuffleMapTask处理
大数据技术分享
12-07 2099
Spark 源码分析之ShuffleMapTask处理 更多资源 SPARK 源码分析技术分享(bilibilid视频汇总套装视频): https://www.bilibili.com/video/av37442139/ github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog...
spark shuffle
weixin_30920091的博客
11-08 160
Spark Shuffle 1. Shuffle相关 当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。概念上shuffle就是一个沟通数据连接（map和reduce）的桥梁。每个...
Spark技术内幕：Shuffle Map Task运算结果的处理
weixin_33699914的博客
01-12 287
Shuffle Map Task运算结果的处理 这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的数据。 Executor端的处理 在解析BasicShu...
Spark源码分析之ResultTask处理
大数据技术分享
12-08 722
Spark源码分析之ResultTask处理 更多资源 SPARK 源码分析技术分享(bilibilid视频汇总套装视频): https://www.bilibili.com/video/av37442139/ github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.csdn...
spark源码分析之BypassMergeSortShuffleWriter
lzf的博客
08-06 2627
概述 spark1.6以后，取消了基于hash的shuffle，只剩下基于sort的shuffle。现在只存在以下三种shuffle writer： BypassMergeSortShuffleWriter UnsafeShuffleWriter SortShuffleWriter 其中，BypassMergeSortShuffleWriter实现带Hash风格的基于Sort的Shuffl...
Spark Shuffle源码分析系列之SortShuffleWriter
进击的数据小白
11-04 736
上一节我们分析了BypassMergeSortShuffleWriter，它是Hash风格的ShuffleWriter，主要适用于不需要map-side聚合排序，并且分区数目小于spark.shuffle.sort.bypassMergeThreshold<默认200>；本节我们来介绍SortBased-ShuffleWriter，它可以处理map端的聚合排序操作，是默认的ShuffleWriter。 ShuffleMapTask整体流程 Spark中负责具体的Shuffle Map端执行任.
Spark Shuffle源码分析系列之ShuffleReader 二
进击的数据小白
11-07 732
上一节我们分析了ShuffleReadTask是如何获取数据位置，得到各个块数据的，本节我们继续分析Spark对数据是如何存储、聚合、排序，然后供后续算子使用的。 概述 上一节我们讲到了ShuffleReduce任务获取数据的迭代器，那么获取来的数据存放到哪里？刚fetch来的FileSegment存放在缓冲区，经过解压缩和反序列化，如果shuffle算子规定了需要聚合操作，则要使用ExternalAppendOnlyMap进行数据聚合，优先在内存中使用SizeTrackerAppendOnlyMap进.
spark1.2.0源码分析之ShuffleMapTask
Yobadman的专栏
01-10 1062
当提交任务集时，Spark会分成两种情况：ShuffleMapTask 和 ResultTask ，接下来分析一下 ShuffleMapTask 中主要做了哪些工作。 private[spark] class ShuffleMapTask( stageId: Int, taskBinary: Broadcast[Array[Byte]], partition: Parti
【转载】Spark 源码分析之ShuffleMapTask处理
weixin_43777427的博客
12-13 399
图解 输入数据 a b k l j c a n m o 排序后的数据 ((0,b),1) ((0,j),1) ((0,l),1) ((0,n),1) ((1,a),2) ((1,c),1) ((1,k),1) ((1,m),1) ((1,o),1) 输出数据 (b,1) (j,1) (l,1) (n,1) (a,2) (c,1) (k,1) (m,1) (o,1) 粗粒度执行器处理Launc...
Spark之【Shuffle】
最新发布
xiayuhaisong的博客
02-26 1619
Shuffle是大数据中的性能杀手，其来源于大数据中的元老级组件Hadoop。在Hadoop中，map被定义为数据的初次拆分获取解析阶段，reduce被定义为负责最终数据的收集汇总阶段，除了业务逻辑的功能外，其他的核心数据处理都是由shuffle来支持。
Spark技术内幕：Shuffle的性能调优
weixin_33712987的博客
01-18 426
通过上面的架构和源码实现的分析，不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。 1.1.1spark.shuffle.manager 前文也多次提到...
大数据知识宝典（Spark篇之shuffle过程）
一往无前
09-21 824
注：本文主要摘录于尚硅谷大数据的学习资料，仅作学习记录，请勿用于商业用途。 Spark shuffle过程 HashShuffle过程介绍 Spark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如wide dependency的group by key。 Spark中需要Shuffle输出的Map任务会为每个Reduce创建对应的bucket，Map产生的结果会根据设置的partitioner得到对应的bucketId，然后填充到
Spark ShuffleRDD生成的两种Task
yians的专栏
02-28 1071
Spark Core里的ShuffleRDD是对上游RDD的宽依赖，在阶段划分时会生成两个Stage，以下面的WordCount为例，这两个Stage的任务类型分别为ShuffleMapTask和ResultTask： // 创建 Spark 运行配置对象 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount") // 创建 Spark 上下文环境对象（连接对象） val sc = new SparkCon
Spark Shuffle解析
qq_41982570的博客
03-03 721
Spark Shuffle解析
大数据技术架构(组件)26——Spark：Shuffle
sysocc的博客
02-09 661
sort shuffle其核心借助于ExternalSorter首先会把每个ShuffleMapTask的输出排序内存中，当超过内存容纳的时候，会spill到一个文件中(FileSegmentGroup)，同时还会写一个索引文件用来区分下一个阶段Reduce Task不同的内容来告诉下游Stage的并行任务哪些数据是属于自己的。第二次是根据数据本身的Key进行排序,当然第二次排序除非调用了带排序的方法，在方法里指定了Key值的Ordering实例，这个时候才会对分区内的数据进行排序）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值