第26课：电光石火间从根本上理解Spark中Sort-Based Shuffle产生的内幕及其tungsten-sort 背景解密

大模型与Agent智能体

于 2017-05-04 06:58:22 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： SparkInBeiJing Spark shuffle

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/71157380

SparkInBeiJing 同时被 2 个专栏收录

81 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Spark shuffle

27 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细探讨了Spark为何从Hash-Based Shuffle转向Sorted-Based Shuffle，揭示了Sorted-Based Shuffle减少Mapper端小文件数量以优化性能的关键。通过介绍Sorted-Based Shuffle的工作原理，包括Data和Index文件的生成，以及其在内存和磁盘IO、网络传输中的优势。同时，文章指出Sorted-Based Shuffle的弱点，如Mapper Task过多可能导致的问题和不必要的排序开销。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第26课：电光石火间从根本上理解Spark中Sort-Based Shuffle产生的内幕及其tungsten-sort 背景解密

在历史的发展中，为什么 Spark 最终还是选择放弃了 HashShuffle 而使用了 Sorted-Based Shuffle，而且作为后起之秀的 Tungsten-based Shuffle 它到底在什么样的背景下产生的。Tungsten-Sort Shuffle 已经并入了 Sorted-Based Shuffle，Spark 的引擎会自动识别程序需要原生的 Sorted-Based Shuffle 还是用 Tungsten-Sort Shuffle，那识别的依据是什么，其实 Spark 会检查相对的应用程序有没有 Aggregrate 的操作。 Sorted-Based Shuffle 也有缺点，其缺点反而是它排序的特性，它强制要求数据在 Mapper 端必须要先进行排序 (注意，这里没有说对计算结果进行排序)，所以导致它排序的速度有点慢。而 Tungsten-Sort Shuffle 对它的排序算法进行了改进，优化了排序的速度。

Spark Sorted-Based Shuffle 的诞生

为什么 Spark 用 Sorted-Based Shuffle 而放弃了 Hash-Based Shuffle？在 Spark 里为什么最终是 Sorted-Based Shuffle 成为了核心，有基本了解过 Spark 的学习者都会知道，Spark会根据宽依赖把它一系列的算子划分成不同的 Stage，Stage