人民大学云计算编程的网上评估平台--解题报告 1004-1007

(http://youzitool.com 新博客，欢迎访问)

因为一次写7道题，文章太长了，为了方便大家阅读，我分成了两篇。

接着上一篇文章，我们继续mapreduce编程之旅~~

 

1004： 题目

 

Single Table Join

描述

输入文件是一个包含有子女-父母表的文件。请编写一个程序，输入为此输入文件，输出是包含在子女-父母表中的孙子女-祖父母关系表。

输入

输入是包含有子女-父母表的一个文件

输出

输出是包含有孙子女-祖父母关系的一个文件，孙子女-祖父母关系是从子女-父母表中得出的。

样例输入

child parent
Tom Lucy
Tom Jack
Jone Lucy
Jone Jack
Lucy Mary
Lucy Ben
Jack Alice
Jack Jesse
Terry Alice
Terry Jesse
Philip Terry
Philip Alma
Mark Terry
Mark Alma

样例输出

grandchild  grandparent 
Jone        Alice 
Jone        Jesse 
Tom         Alice 
Tom         Jesse 
Jone        Mary 
Jone        Ben 
Tom         Mary 
Tom         Ben 
Mark        Jesse 
Mark        Alice 
Philip      Jesse 
Philip      Alice

1004：解题思路

单表的连接，这个比较有味道~~当然有可能是我水平有问题，所以写的比较复杂。

首先，我定义了一个自定义数据类型TextPair 关于自定义数据类型我这里也不多说了，大家可以百度一下，或者看看hadoop权威指南上面都会讲解。

接着：我们从输入可以看出，孩子和双亲都写在同一个文件，而我们要求的是祖孙关系，所以双亲类也会出现在孩子列。为了正确区分，所以我们借助自定义数据类型来完成。

我先上代码，在代码中我会详细注释：

public class MyMapre { public static class wordcountMapper extends Mapper{ public void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException{ String key1 = ""; String value1 = ""; StringTokenizer itr = new StringTokenizer(value.toString()); //从读入得行中 取出 孩子、双亲 if (itr.hasMoreElements()){ key1 = itr.nextToken(); } if (itr.hasMoreElements()){ value1 = itr.nextToken(); } //使用自定义的数据类型，作为key-value //0-孩子， 1-代表双亲 //我这里将孩子和双亲进了交换输出，方便reduce进行 孩子-祖父的配对 context.write(new TextPair(key1, 0), new TextPair(value1, 1)); context.write(new TextPair(value1, 1), new TextPair(key1, 0)); } } public static class wordcountReduce extends Reducer{ public void reduce(TextPair key, Iterablevalues, Context context)throws IOException, InterruptedException{ //上面定义了两个list，保存孩子和双亲 List child = new ArrayList(); List parent = new ArrayList(); for (TextPair str : values){ //通过比对 0 或者 1 就可以直接是孩子还是双亲 //具有同一个key值，表示这是双亲，而与双亲有关系的就是孩子和双亲的双亲，所以通过判断就是可以孩子和祖父 if (str.second.get() == 0){ child.add(str.first.toString()); } else{ parent.add(str.first.toString()); } } if (child.size() != 0 && parent.size() != 0){ //一个孩子可能对应多个祖父、所以采用了双重循环，孩子作为外层循环 for (int i = 0; i < child.size(); i++){ for (int j = 0; j < parent.size(); j++){ context.write(new Text(child.get(i)), new Text(parent.get(j))); } } } } } //自定义数据类型，这个我就不多说了。 public static class TextPair implements WritableComparable { private Text first; private IntWritable second; public TextPair() { set(new Text(), new IntWritable()); } public TextPair(String first, int second) { set(new Text(first), new IntWritable(second)); } public TextPair(Text first, IntWritable second) { set(first, second); } public void set(Text first, IntWritable second) { this.first = first; this.second = second; } public Text getFirst() { return first;