分布式与并行计算课程设计（附流程分析图）

课题名称：倒排序索引的实现

一、项目

倒排序索引的实现。

二、要求

数据源：a.txt，b.txt，c.txt

请将数据源中的文本按照倒排序的规则统计每个单词在不同文本中出现的次数。最终要求得到类似以下的结果：

hello a.txt8,b.txt3,c.txt1
tom a.txt5,b.txt2,c.txt1
…………………….

流程分析图：

设置两个Job来实现要求，第一个Job主要是统计出 “单词—所在文件名” 的数量，第二个Job依据Job1统计出来的结果的基础上再进行统计，进而得出倒排索引的结果，详细过程见下图：

三、代码及运行结果

类结构：

Job1：OneIndexMapper、OneIndexReducer、OneIndexDriver
Job2：TwoIndexMapper、TwoIndexReducer、TwoIndexDriver

第一个Job：

OneIndexDriver：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class OneIndexDriver {
   
	public static void main(String[] args) throws Exception {
   

		args = new String[] {
    "写自己的目录", "写自己的目录" };

		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf);

		job.setJarByClass(OneIndexDriver.class);

		job.setMapperClass(OneIndexMapper.class);
		job.setReducerClass(OneIndexReducer.class);

		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);

		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job