链式MapReduce：ChainMapper和ChainReducer

一：背景

Hadoop2.0开始MapReduce作业支持链式处理，类似于富士康生产苹果手机的流水线，每一个阶段都有特定的任务要处理，比如提供原配件——>组装——打印出厂日期，等等。通过这样进一步的分工，从而提高了生成效率，我们Hadoop中的链式MapReduce也是如此，这些Mapper可以像水流一样，一级一级向后处理，有点类似于Linux的管道。前一个Mapper的输出结果直接可以作为下一个Mapper的输入，形成一个流水线。

注：链式MapReduce的执行规则：整个Job中只能有一个Reducer，在Reducer前面可以有一个或者多个Mapper，在Reducer的后面可以有0个或者多个Mapper。

二：技术实现

#需求：现有如下销售数据，要求使用链式MapReduce，在第一个Mapper中过滤金额大于10000的数据，在第二个Mapper中过滤数据在100-10000之间的数据，在Reduce中进行分类汇总，在Reduce后面的Mapper中过滤掉商品名长度大于8的数据。

1. Phone 5000
2. Computer 2000
3. Clothes 300
4. XieZi 1200
5. QunZi 434
6. ShouTao 12
7. Books 12510
8. SmallShangPing 5
9. SmallShangPing 3
10. DingCan 2

实现代码：

1. public class ChainMapReduce {
3. // 定义输入输出路径
4. private static final String INPUTPATH = "hdfs://liaozhongmin21:8020/chainFiles/*";
5. private static final String OUTPUTPATH = "hdfs://liaozhongmin21:8020/out";
7. public static void main(String[] args) {
9. try {
11. Configuration conf = new Configuration();
12. // 创建文件系统
13. FileSystem fileSystem = FileSystem.get(new URI(OUTPUTPATH), conf);
15. // 判断输出路径是否存在，如果存在则删除
16. if (fileSystem.exists(new Path(OUTPUTPATH))) {
17. fileSystem.delete(new Path(OUTPUTPATH), true);
18. }
20. // 创建Job
21. Job job = new Job(conf, ChainMapReduce.class.getSimpleName());
23. // 设置输入目录
24. FileInputFormat.addInputPath(job, new Path(INPUTPATH));
25. // 设置输入文件格式
26. job.setInputFormatClass(TextInputFormat.class);
28. // 设置自定义的Mapper类
29. ChainMapper.addMapper(job, FilterMapper1.class, LongWritable.class, Text.class, Text.class, DoubleWritable.class, conf);
30. ChainMapper.addMapper(job, FilterMapper2.class, Text.class, DoubleWritable.class, Text.class, DoubleWritable.class, conf);
31. ChainReducer.setReducer(job, SumReducer.class, Text.class, DoubleWritable.class, Text.class, DoubleWritable.class, conf);
32. // 注：Reducer后面的Mapper也要用ChainReducer进行加载
33. ChainReducer.addMapper(job, FilterMapper3.class, Text.class, DoubleWritable.class, Text.class, DoubleWritable.class, conf);
35. // 设置自定义Mapper类的输出key和value
36. job.setMapOutputKeyClass(Text.class);
37. job.setMapOutputValueClass(DoubleWritable.class);
39. // 设置分区
40. job.setPartitionerClass(HashPartitioner.class);
41. // 设置reducer数量
42. job.setNumReduceTasks(1);
44. // 设置自定义的Reducer类
45. // 设置输出的Key和value类型
46. job.setOutputKeyClass(Text.class);
47. job.setOutputValueClass(DoubleWritable.class);
49. // 设置输出路径
50. FileOutputFormat.setOutputPath(job, new Path(OUTPUTPATH));
51. // 设置输出格式
52. job.setOutputFormatClass(TextOutputFormat.class);
54. // 提交任务
55. System.exit(job.waitForCompletion(true) ? 0 : 1);
57. } catch (Exception e) {
58. e.printStackTrace();
59. }
60. }
63. /**
64. * 过滤掉金额大于10000的记录
65. * @author 廖钟民 2015年3月17日下午6:27:05
66. */
67. public static class FilterMapper1 extends Mapper<LongWritable, Text, Text, DoubleWritable> {
69. // 定义输出的key和value
70. private Text outKey = new Text();
71. private DoubleWritable outValue = new DoubleWritable();
73. @Override
74. protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, DoubleWritable>.Context context) throws IOException,
75. InterruptedException {
77. // 获取行文本内容
78. String line = value.toString();
80. if (line.length() > 0) {
81. // 对行文本内容进行切分
82. String[] splits = line.split("\t");
83. // 获取money
84. double money = Double.parseDouble(splits[1].trim());
85. // 过滤
86. if (money <= 10000) {
87. // 设置合法结果
88. outKey.set(splits[0]);
89. outValue.set(money);
90. // 把合法结果写出去
91. context.write(outKey, outValue);
92. }
93. }
94. }
95. }
97. /**
98. * 过滤掉金额大于100的记录
99. * @author 廖钟民 2015年3月17日下午6:29:27
100. */
101. public static class FilterMapper2 extends Mapper<Text, DoubleWritable, Text, DoubleWritable> {
103. @Override
104. protected void map(Text key, DoubleWritable value, Mapper<Text, DoubleWritable, Text, DoubleWritable>.Context context) throws IOException,
105. InterruptedException {
106. if (value.get() < 100) {
108. // 把结果写出去
109. context.write(key, value);
110. }
111. }
112. }
114. /**
115. * 金额汇总
116. * @author 廖钟民
117. *2015年3月21日下午1:46:47
118. */
119. public static class SumReducer extends Reducer<Text, DoubleWritable, Text, DoubleWritable> {
120. // 定义输出的value
121. private DoubleWritable outValue = new DoubleWritable();
123. @Override
124. protected void reduce(Text key, Iterable<DoubleWritable> values, Reducer<Text, DoubleWritable, Text, DoubleWritable>.Context context)
125. throws IOException, InterruptedException {
127. // 定义汇总结果
128. double sum = 0;
129. // 遍历结果集进行统计
130. for (DoubleWritable val : values) {
132. sum += val.get();
133. }
134. // 设置输出value
135. outValue.set(sum);
136. // 把结果写出去
137. context.write(key, outValue);
138. }
139. }
141. /**
142. * 过滤商品名称长度小于8的商品
143. * @author 廖钟民
144. *2015年3月21日下午1:47:01
145. */
146. public static class FilterMapper3 extends Mapper<Text, DoubleWritable, Text, DoubleWritable> {
148. @Override
149. protected void map(Text key, DoubleWritable value, Mapper<Text, DoubleWritable, Text, DoubleWritable>.Context context) throws IOException,
150. InterruptedException {
151. // 过滤
152. if (key.toString().length() < 8) {
153. // 把结果写出去
154. System.out.println("写出去的内容为：" + key.toString() +"++++"+ value.toString());
155. context.write(key, value);
156. }
157. }
159. }
161. }

注：驱动类中Reducer后面的Mapper必须应该通过ChainReducer来添加！

输出结果：

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/lzm1340458776/article/details/44976371