编写简单的Hadoop程序(自连接)

最新推荐文章于 2021-04-06 12:47:56 发布

原创最新推荐文章于 2021-04-06 12:47:56 发布 · 701 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何使用Mapper和Reduce程序实现数据关系映射和处理，包括数据准备、程序编写以及关键步骤的实现。通过两次处理输入数据，创建类似于SQL中两个表的关联，最终实现GrandParent和GrandChild的查找。

准备工作：

如一个列为child，一个列为parent，需要找出grandchile, grandParent

如数据

Lucy Tom
Lucy Jone
Tom Heimi
Tom QiQi
Jone Candy
Jone God

Lucy有四个grandParent：Heimi， QiQi，Candy， God

编写程序Mapper程序，Mapper中两次处理输入数据，类似于SQL中的两个表，两个表的关联列变为key，左表用value值加一个前缀1，右表的值加另一个前缀2。

public class SelfMapper extends Mapper<LongWritable, Text, Text, Text>{
	
	enum Counter{
		LINESKIP
	}
	
	@Override
	public void map(LongWritable key, Text value, Context context)
		      throws IOException, InterruptedException{
		
		String line = value.toString();
		
		try {
			String []arr = line.split(" ");
			context.write(new Text(arr[1]), new Text("1"+arr[0]));
			context.write(new Text(arr[0]), new Text("2"+arr[1]));
		} catch (Exception e) {
			context.getCounter(Counter.LINESKIP).increment(1);
		}
	}
}

编写Reduce程序，Reduce中对value值做处理，坐标的value和右表的value做组合即可。

public class SelfReducer extends Reducer<Text,Text,Text,Text>{
	
	@Override
	public void reduce(Text key, Iterable<Text> values, Context context)throws IOException, InterruptedException{
		List<String> childLst = new ArrayList<String>();
		List<String> parentLst = new ArrayList<String>();
		for(Text t:values){
			if(t.toString().substring(0, 1).equals("1")){
				childLst.add(t.toString().substring(1, t.toString().length()));
			}else if(t.toString().substring(0, 1).equals("2")){
				parentLst.add(t.toString().substring(1, t.toString().length()));
			}
		}
		
		for(String child:childLst){
			for(String parent:parentLst){
				context.write(new Text(child),new Text(parent));
			}
		}
	}

Map

Main程序参考其他的博文。