Mapeduce编程八大步骤

Mapreduce编程八大步

1.1:指定读取的文件位于哪里

FileInputFormat.setInputPaths()
指定如何对输入文件进行格式化，把输入文本每一行解析为键值对
job.setInputFormatClass()


1.2：指定自定义的Map类
job.setMapperClass()
//map输出的<k,v>类型，如果<k3,v3>的类型与<k2,v2>类型一致，则可以省略
//job.setMapOutputKeyClass()
//job.setMapOutputValueClass()


1.3：分区
job.setPartitionerClass()
//设置reduce任务个数
//job.setNumReducetasks(1)


1.4：TODO 排序  分组


1.5：规约
job.setCombinerClass()


2.1：指定自定义的Reduce类
job.setReduceClass()
//指定reduce的输出类型
//job.setOutputKeyClass()
//job.setOutputValueClass()


2.2：指定写出的文件位置
FileOutputFormat.setOutputPath()
指定如何对输出文件格式化类型
job.setoutputFormatClass()


2.3：把job提交给JobTracker运行

System.exit(status)

MapReduce程序的执行步骤：

1.Map任务处理

1.1  读取输入文件内容，解析成key，value对，对输入文件的每一行，解析成key，value对。每一个键值对调用一次map

函数

1.2  写自己的逻辑，对输入的key，value处理，转换成新的key，value输出

1.3  对输出的key，value进行分区

1.4  对不同分区的数据，按照key进行排序，分组相同key的value放到一个集合中

1.5  （可选）分组后的数据进行规约

2. reduce任务处理

2.1  对多个Map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点

2.2  对多个map任务的输出进行合并，排序，写reduce函数自己的逻辑，对输入的key，value处理，转换成新的key，value输出

2.3  把reduce的输出保存到文件中