MapReduce进阶，函数运行机制以及逻辑详解

通过一个小程序，理解mapReduce的逻辑，以及函数方法运行的机制。

虽然例子举得不太好，看完有种没必要的感觉，但是有助于新手理解mapreduce。

不讲原理，只讲代码和逻辑。

求班级内年龄最大的姓名和年龄：

file1：

小明 13

小强 14

小红 12

file2：

小蓝 20

小白 15

小青 10

小黑 23

file3：

等等等等。。。

代码：

package com.ming.blog;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;

public class Blog {

	public static class BlogMapper extends Mapper<LongWritable, Text, Text, Text> {
		//map操作是将数据分裂，根据不同的key，分成不同组，并规定map操作后输出的格式
		//每一个key做一次map操作，在这里每一行做一次map操作，value则是一个行的数据
		//即key是行号，value是'小明 13'
		public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
			
			//这里可以根据业务需求，随便规定输出的格式
			//因为是求班级年龄最大，所以年龄和姓名是变动的，一个班级是固定的，所以key设置为1，表示一个班级（如果不太懂，看完reduce操作，再回来看就懂了）
			//即，这里是'key:1  value:小明 13'
			context.write(new Text("1"), value);
		}
	}

	public static class BlogReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
		//reduce操作简单的来说就是  通过相同的key，对一个或多个value做操作，例如：相同的单词对数量做操作；相同的班级对姓名年龄做操作
		//相对于一次reduce操作来说，key是定值，value是变值
		//每一个key做一次reduce操作
		public void reduce(Text key, Iterable<IntWritable> values, Context context)throws IOException, InterruptedException {
			int max=0;
			String name=null;
			String[] people=null;
			
			//现在的values是这样的：iterator-->{小明    13}
			//				    {小强    14}
			//			       	    {小红    12}
			//					|
			while(values.iterator().hasNext()){
				//将每一行数据再分割，即people{小明,13}
				people=values.iterator().next().toString().split(" ");
				//比较年龄
				if(Integer.parseInt(people[1])>max){
					max=Integer.parseInt(people[1]);
					name=people[0];
				}
			}
			//输出最终的文件
			context.write(new Text(name), new IntWritable(max));
		}
	}

}