hadoop之shuffle------>soft和combiner

一 、shuflle之soft

 此处用一个具体的实例来说明soft机制

实例：

   1.  需求
账号                                收入      支出     日期
zhangsan@163.com 6000 0 2014-02-20
lisi@163.com 2000 0 2014-02-20
lisi@163.com 0 100 2014-02-20
zhangsan@163.com 3000 0 2014-02-20
wangwu@126.com 9000 0 2014-02-20
wangwu@126.com 0 200 2014-02-20
   
    将上述数据，按照收入由高到低排序，收入相同的按支出从低到高排序
结果实现

  

  2.代码实现

       要想获得完成的排序结果，需要分两步来写，第一步是正常的Mapper,Reducer,获得结果如下

   

      第二步：

          在map和reduce阶段进行排序时，比较的是k2。v2是不参与排序比较的。如果要想让v2也进行排序，需要把k2和v2组装成新的类，作为k2，才能参与比较。所以，如果想对上述结果进行排序，就要将Bean作为K2传入

     注意：Bean实现WritableComparable接口

    例如：
public class InfoBean implements WritableComparable<InfoBean>

    

    在这个类中需要重写compareTo方法

二、shuflle之combiner

     1. 作用：每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。

     2. 影响：如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。

    3.实质：Combiner是一个特殊的Reducer，继承Reducer类

    4.使用：在main函数中设置combiner类即可

     例如：wordcount类中

	job.setCombinerClass(WCReducer.class);

    5.对比：

     （1）无combiner

   

  (2)有combiner

   

    可以发现，在Mapper端会先进行一个计算，然后再Reducer端再进行一次计算