Shuffle
关注
分享
扫一扫
Shuffle
睡覺了
Everything is Object 我现在能做的，便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Shuffle阶段的角度分析
流程角度：内存角度：原创 2019-11-15 08:42:37 · 6961 阅读 · 0 评论 -
Shuffle 之Partition 分区算法
算法总结：概念：对key 进行哈希，获取 到一个哈希值， 用这个 哈希值 与 reducetask 的 数量 取余。 余几，这个 数据 就放在 余数 编号的partition中。算法实现：一 mapimport org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWr...原创 2019-11-28 08:04:17 · 6745 阅读 · 0 评论