Spark技术内幕：Sort Based Shuffle实现解析

最新推荐文章于 2024-01-05 09:41:07 发布
最新推荐文章于 2024-01-05 09:41:07 发布
阅读量721 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gaowenhui2008/article/details/44452757
Spark 专栏收录该内容
18 篇文章 ¥19.90 ¥99.00
订阅专栏
本文探讨了Spark 1.2.0中默认将shuffle manager从Hash Based切换到Sort Based的原因，主要涉及性能提升和内存使用优化。Sort Based Shuffle通过减少文件数量和利用顺序Disk IO提高性能，并在内存不足时进行spill和merge sort。文章还介绍了SortShuffleWriter的核心实现逻辑，并讨论了为何保留两种shuffle机制的并存。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Spark 1.2.0中，Spark Core的一个重要的升级就是将默认的Hash Based Shuffle换成了Sort Based Shuffle，即spark.shuffle.manager 从hash换成了sort，对应的实现类分别是org.apache.spark.shuffle.hash.HashShuffleManager和org.apache.spark.shuffle.sort.SortShuffleManager。

这个方式的选择是在org.apache.spark.SparkEnv完成的：

[java] view plain copy
了解本专栏 订阅专栏 解锁全文
第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解
大模型与Agent智能体
05-05 5275
第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解 本文根据家林大神系列课程编写http://weibo.com/ilovepains 为什么讲解Sorted-Based shuffle？2方面的原因： 一，可能有些朋友看到Sorted-Based Shuffle的时候，会有一个误解，认为Spark基于Sorted-Based Shuffle 它产出...
Spark技术内幕：Shuffle的性能调优
热门推荐
GY的的专栏
03-19 1万+
通过上面的架构和源码实现的分析，不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。 1.1.1  spark.shuffle.manager 前文也多次提到过，Spark1.2.0官方支持两种方式的
Spark Sort Based Shuffle内存分析
allwefantasy的专栏
12-19 190
分布式系统里的Shuffle 阶段往往是非常复杂的，而且分支条件也多，我只能按着我关注的线去描述。肯定会有不少谬误之处，我会根据自己理解的深入，不断更新这篇文章。 前言 借用和董神的一段对话说下背景： shuffle共有三种，别人讨论的是hash shuffle，这是最原始的实现，曾经有两个版本，第一版是每个map产生r个文件，一共产生mr个文件，由...
Spark Sort-based Shuffle
sundujing的博客
05-15 548
一 、为什么需要sort-based-shuffle？1.shuffle一般包含两阶段任务： 第一部分，产生shuffle数据的阶段（map阶段，额外补充，需要实现ShuffleManager中getWriter来写数据，数据可以利用BlockManager写到memory，disk，tachyon等，例如想非常快的shuffle，此时可以考虑把数据写在内存中，但是内存不稳定，建议采用MEMORY
[Spark源码浅析]-关于sort-based shuffle
coderlaw's study
07-17 550
在sort-based shuffle,记录根据目标分区id做排序,然后写到一份单一的输出文件中。 Reducers拉取这个文件连续的region 来读取这个输出的位置。 如果这次map的输出数据 太大到不能放在内存中。这个排序输出 会被切分到磁盘。然后被合并到一个最终的文件中。sort-based shuffle 有两个不同的输出路径 来存在输出文件。一、序列化的排序（满足以下三个条件时） 1
Spark技术内幕深入解析Spark内核架构设计与实现原理
12-04
《Spark技术内幕深入解析Spark内核架构设计与实现原理》这本书深入探讨了Apache Spark这一分布式计算框架的核心架构和实现机制，旨在帮助读者全面理解Spark的工作原理，并能够有效地利用其进行大数据处理。...
Spark【理论篇】04：Spark的shuffle机制分析
weixin_40612128的博客
03-09 816
Spark【理论篇】04：Spark的shuffle机制分析
Spark Sort-Based Shuffle详解
snail_gesture的博客
03-05 6481
一：为什么需要Sort-Based Shuffle? 1， Shuffle一般包含两个阶段任务： 第一部分：产生Shuffle数据的阶段(Map阶段，额外补充，需要实现ShuffleManager中的getWriter来写数据(数据可以通过BlockManager写到Memory，Disk，Tachyon等，例如想非常快的Shuffle，此时可以考虑把数据写在内存中，但是内存不稳定，所以可以考
Spark Sort Based Shuffle 流程简单分析
MT——黑板报
12-25 1233
写文件大致路径写文件大致路径入口是：ShuffleMapTask.runTask()val manager = SparkEnv.get.shuffleManager writer = manager.getWriter[Any, Any](dep.shuffleHandle, partitionId, context) writer.write(rdd.iterator(partition, co
Spark源码分析之Sort-Based Shuffle读写流程
happy19870612's blog
11-10 1068
一 概述 我们知道Spark Shuffle机制总共有三种： # 未优化的Hash Shuffle：每一个ShuffleMapTask都会为每一个ReducerTask创建一个单独的文件，总的文件数是S * R,不仅文件数量很多，造成频繁的磁盘和网络I/O,而且内存负担也很大，GC频繁,经常出现OOM。 # 优化后Hash Shuffle：改进后的Shuffle,启用consolidatio
Spark Shuffle原理解析
weixin_33696822的博客
10-11 181
Spark Shuffle原理解析   一：到底什么是Shuffle？          Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。   二：Shuffle可能面临的问题？运行Task的时候才会产生Shuffle（Shuffle已经融化在Spark的算子中了）。 1， 数据量非常大； 2， 数据如何分...
[Spark性能调优] 第三章 : Spark 2.1.0 中 Sort-Based Shuffle 产生的内幕
weixin_30697239的博客
02-28 192
本課主題 Sorted-Based Shuffle的诞生和介绍 Shuffle 中六大令人费解的问题 Sorted-Based Shuffle 的排序和源码鉴赏 Shuffle 在运行时的内存管理 引言 在历史的发展中，为什么 Spark 最终还是选择放弃了 HashShuffle 而使用了 Sorted-Based Shuffle，而且作为后起之秀的 Tungst...
Spark Sort Based Shuffle源码详细解析----数据流篇----Shuffle Write流
美伊小公主的超级奶爸的专栏
01-05 1882
Spark Shuffle这部分的内容比较多,  可以通过以下图示的角度对内容做细分: Spark Shuffle     ----> 模块架构     ----> 模块交互关系及时序     ----> 数据流         ----> Hash Based Shuffle         ----> Sort Based Shuffle             ----> Sh
Spark Sort-Based Shuffle学习笔记
weixin_41074929的博客
09-16 279
一、为什么需要Sort-Based Shuffle？ 1. Shuffle一般包含两阶段的任务：第一部分，即产生Shuffle数据的阶段（Map阶段，需要实现ShuffleManager中的getWriter方法来写数据（数据通过BlockManager可以写入Memory、Disk、Tachyon等，例如想实现非常快的Shuffle，就可以把数据写入内存中，但是内存不稳定，建议采用MEMORY...
Spark五：Spark的两种核心Shuffle
最新发布
eight_Jessen的博客
01-05 2061
Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle，介绍Spark的两种核心Shuffle，Hash Shuffle和Sort Shuffle
sort-based shuffle的核心：org.apache.spark.util.collection.ExternalSorter
weixin_30892763的博客
09-17 265
依据Spark 1.4版 在哪里会用到它 ExternalSorter是Spark的sort形式的shuffle实现的关键。SortShuffleWriter使用它，把RDD分区中的数据写入文件。 override def write(records: Iterator[Product2[K, V]]): Unit = { if (dep.mapSideCombine) {...
介绍一下spark的sort-based shuffle
04-20
Spark的Sort-Based Shuffle是一种高效的数据重分区算法。它通过将Map端的中间数据集按照Key进行排序，然后对Reduce端的Key值进行范围划分，将每个Map Task的输出数据集划分到对应的Reduce Task执行，从而实现数据的重分区操作。这种算法的优势在于它避免了网络传输过程中的数据部分和合并操作，从而显著提高了Spark的计算效率和吞吐量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蒙奇·D·路飞-

感谢老板您就是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值