hadoop 求key最大值

最新推荐文章于 2022-11-16 14:14:06 发布

诚恳

最新推荐文章于 2022-11-16 14:14:06 发布

阅读量870

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/fln250/article/details/23818945

hadoop 专栏收录该内容

19 篇文章

订阅专栏

本文介绍了使用MapReduce实现寻找一组数据中最大值的具体过程。文章详细解释了map任务如何处理输入数据并找出局部最大值，以及reduce阶段如何进一步处理这些局部最大值以确定全局最大值。此外，还涉及了map与reduce之间传递值的原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

那么，在之前，我们是否考虑到了一个问题：什么时候才可以打印出最大值？在所有的map任务结束的时候，就调用cleanup(...)时，

略说一下，map与reduce之间传值的原理：

在源文件将一行数据，分解成<key,value>时，会统一由map加工（调用map()），输出新的<key,value>，然后进行分区，在分区里面进行排序，然后输出给reduce

static class MyMapper extends Mapper<LongWritable, Text, LongWritable, NullWritable>{
		long max = Long.MIN_VALUE;
		protected void map(LongWritable k1, Text v1, Context context) throws java.io.IOException ,InterruptedException {
			final long temp = Long.parseLong(v1.toString());
			if(temp>max){
				max = temp;
			}
		};
		
		protected void cleanup(org.apache.hadoop.mapreduce.Mapper<LongWritable,Text,LongWritable, NullWritable>.Context context) throws java.io.IOException ,InterruptedException {
			context.write(new LongWritable(max), NullWritable.get());
		};
	}
	
	static class MyReducer extends Reducer<LongWritable, NullWritable, LongWritable, NullWritable>{
		long max = Long.MIN_VALUE;
		protected void reduce(LongWritable k2, java.lang.Iterable<NullWritable> arg1, org.apache.hadoop.mapreduce.Reducer<LongWritable,NullWritable,LongWritable,NullWritable>.Context arg2) throws java.io.IOException ,InterruptedException {
			final long temp = k2.get();
			if(temp>max){
				max = temp;
			}
		};
		
		protected void cleanup(org.apache.hadoop.mapreduce.Reducer<LongWritable,NullWritable,LongWritable,NullWritable>.Context context) throws java.io.IOException ,InterruptedException {
			context.write(new LongWritable(max), NullWritable.get());
		};
	}