qq_25460227的博客

mapreduce高级特性及shuffle 第一节：shuffle机制 1.1 概述 mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；shuffle:洗牌、发牌——（核心机制：数据分区，排序，缓存）；具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数...

mapreduce高级特性3 第一节：结合案例讲解mr重要知识点 1.1 多表连接 第一张表的内容： login： uid sexid logindate 1 1 2017-04-17 08:16:20 2   2 2017-04-15 06:18:20 3   1 2017-04-16 05:16:24 4   2 2017-04-14 03:18:20 5   ...