hadoop中combine优化

hadoop中combine优化

1.写法
(1)把reduce函数的代码块复制放在map和reduce代码块中间，把复制的代码块类名
改为MapReduce_Combine(名字自己随便写)

(2)在main中加入
job.setCombinerClass(MapReduce_Combine.class);

2.优点
把数据在map阶段结束后，直接执行combine函数，进行聚合，减少在map和reduce节点
之间的数据传输量，以提高io性能

3.缺点
增加了reduce的进程

4.杀死进程
如果进程卡住了，或者时间太长而不想继续执行了，可以杀死进程
加入进程编号为： job_135525622353
hadoop job -kill job_135525622353