- 博客(1)
- 收藏
- 关注
RSS订阅转载 Shuffle的过程作用详解
shuffle shuffle过程中的几个名词：shuffle：洗牌；spill：溢出；combiner：合成；merge：融入混合；copy:复制 shuffle的使用地点：发生在map task输出结果传送到reduce task 输入的阶段 使用shuffle的好处：在从map task端拉取数据到reduce task端时，减少宽带的消耗， 将数据完整的从map task端拉取数据到reduce task端 减少磁盘IO对task的影响 shuffle过程理解： 1.在map task端,输入...
2021-08-24 10:14:23
1028
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人