超级会员免费看
本文介绍了Spark Shuffle的概念，它是大数据处理中的关键步骤，涉及Map和Reduce阶段的数据交换。文章详细阐述了Shuffle管理器从HashShuffleManager到SortShuffleManager的演进，重点解析了SortShuffleManager的普通机制和bypass机制，包括各自的运行流程和开启条件。通过理解Shuffle机制，可以优化Spark作业的性能。
1. 什么是 Shuffle
当一个父 RDD 分区的数据分散到了多个子 RDD 的分区中时，这时会产生 Shuffle，即宽依赖之间会有 Shuffle。
Reduce Task 去拉取 Map Task 数据的时候会产生大量的网络、磁盘 IO、内存的消耗，Shuffle 性能的高低对整体任务的性能影响很大。
Shuffle 通常分为两个阶段，Map 阶段数据的准备及划分，Reduce 阶段数据的拉取。Map 端的 Shuffle 通常被称作 Shuffle Write，Reduce 端的 Shuffle 通常被称作 Shuffle Read。
订阅专栏 解锁全文
扫一扫
1200
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
