hadoop 自学指南三之WordCount解析(3)

最新推荐文章于 2024-04-19 23:58:36 发布
原创 最新推荐文章于 2024-04-19 23:58:36 发布 · 520 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文介绍了如何使用CombinerClass优化Hadoop的WordCount程序，通过合并Map阶段的中间数据，减少网络传输，提高Reducer性能。以MaxTemperatureWithCombiner为例，阐述了Combiner的工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、前言

在某些情况下，Map函数会产生许多中间数据，而且都是重复的，为了减少reducer的输入提高reducer性能，我们往往需要一个中间程序来合并Map的输入，这时候可以利用

combinerclass来有效减少网络传输的数据量。

二、WordCount 的CombinerClass

原理很简单：例如有一个map中（”hello",1)有10000个，传输到reducer端的确没什么必要，那么我们合并一个变成（“hello",10000)就ok了

package hadoop.v3;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.hai.hdfs.utils.HDFSUtils;

/**
 * @author : chenhaipeng
 * @date : 2015年9月6日 上午2:00:50
 */
public class WordCountNewAPI extends Configured implements Tool {
	
	public static class Map extends Mapper<LongWritable, Text, Text, IntWritable>{
		private final static IntWritable one = new IntWritable(1);
		private Text word = new Text("UTF-8");
		/* (non-Javadoc)
		 * @see org.apache.hadoop.mapreduce.Mapper#map(java.lang.Object, java.lang.Object, org.apache.hadoop.mapreduce.Mapper.Context)
		 */
		@Override
		public void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			String line = value.toString();
			StringTokenizer tokenizer = new StringTokenizer(line);
			while(tokenizer.hasMoreTokens()){
				word.set(tokenizer.nextToken());
				context.write(word, one);
			}
		}
		
	}
	
	public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable>{
		/* (non-Javadoc)
		 * @see org.apache.hadoop.mapreduce.Reducer#reduce(java.lang.Object, java.lang.Iterable, org.apache.hadoop.mapreduce.Reducer.Context)
		 */
		@Override
		public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
			int sum = 0; 
			for(IntWritable value : values){
				sum += value.get();
			}
			System.out.println("key----->"+key);
			context.write(key, new IntWritable(sum));
		}
		
	}

	public static void main(String[] args) throws Exception {
		int ret = ToolRunner.run(new WordCountNewAPI(), args);
		System.exit(ret);

	}
	
	public static void deletedir(String path){
		try {
			HDFSUtils.DeleteHDFSFile(path);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	/* 
	 * @see org.apache.hadoop.util.Tool#run(java.lang.String[])
	 */
	@Override
	public int run(String[] args) throws Exception {
		Job job = new Job(getConf());
		job.setJarByClass(WordCountNewAPI.class);
		job.setJobName("WordCountNewAPI");
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);
		
		job.setMapperClass(Map.class);
		job.setReducerClass(Reduce.class);
		
		job.setCombinerClass(Reduce.class);
		
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		deletedir(args[1]);
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		boolean sucess = job.waitForCompletion(true);
		return sucess == true? 0 : 1;
		
	}

}


下面提供来自hadoop 权威指南的一个例子！

二、MaxTemperatureWithCombiner

package hadoop.v3;

import java.io.IOException;

import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.hai.hdfs.utils.HDFSUtils;

/**
 * @author : chenhaipeng
 * @date : 2015年9月6日 下午5:48:57
 */
public class MaxTemperatureWithCombiner extends Configured implements Tool {
	
	public static class MaxTemperatureMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		
		private static final int MISSING = 9999;

		/* (non-Javadoc)
		 * @see org.apache.hadoop.mapreduce.Mapper#map(java.lang.Object, java.lang.Object, org.apache.hadoop.mapreduce.Mapper.Context)
		 */
		@Override
		protected void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			String line  = value.toString();
			String year = line.substring(15, 19);
			int airTemperature;
			if(line.charAt(87) == '+'){	
				airTemperature = Integer.parseInt(line.substring(88,92));
			}else{
				airTemperature = Integer.parseInt(line.substring(87,92));
			}
			String quality = line.substring(92,93);
			if(airTemperature != MISSING && quality.matches("[01459]")){
				context.write(new Text(year), new IntWritable(airTemperature));
			}
		}
		
	}
	
	public static class MaxTemperatureReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

		/* (non-Javadoc)
		 * @see org.apache.hadoop.mapreduce.Reducer#reduce(java.lang.Object, java.lang.Iterable, org.apache.hadoop.mapreduce.Reducer.Context)
		 */
		@Override
		protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
			int maxValue = Integer.MIN_VALUE;
			for(IntWritable value : values){
				maxValue = Math.max(maxValue, value.get());
			}
			context.write(new Text(key), new IntWritable(maxValue));
		}
	}

	public static void deletedir(String path){
		try {
			HDFSUtils.DeleteHDFSFile(path);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	
	/* (non-Javadoc)
	 * @see org.apache.hadoop.util.Tool#run(java.lang.String[])
	 */
	@Override
	public int run(String[] args) throws Exception {
		Job job = new Job(getConf());
		job.setJarByClass(MaxTemperatureWithCombiner.class);
		job.setJobName("MaxTemperatureWithCombiner");
		
		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		job.setMapperClass(MaxTemperatureMapper.class);
		job.setCombinerClass(MaxTemperatureReducer.class);
		job.setReducerClass(MaxTemperatureReducer.class);
		
		FileInputFormat.addInputPath(job, new Path(args[0]));
		deletedir(args[1]);
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		boolean sucess = job.waitForCompletion(true);
		return sucess == true? 0 : 1;
		
	}


	public static void main(String[] args) throws Exception {
		if(args.length != 2){
			System.err.println("需要两个输入参数，<input path> <output path>");
			System.exit(-1);
		}
		
		int ret = ToolRunner.run(new MaxTemperatureWithCombiner(), args);
		System.exit(ret);
		
		
		
	}

}


输出：




hadoop wordcount
yandao的博客
06-21 2351
wordcount
Hadoop之实战WordCount
qq_52150032的博客
05-19 1884
大致流程如下： 第一步：开发Map阶段代码 第二步：开发Reduce阶段代码 第三步：组装Job 在idea中创建WordCountJob类 添加注释，梳理一下需求： 需求：读取hdfs上的hello.txt文件，计算文件中每个单词出现的总次数 hello.txt文件内容如下： hello you hello me 最终需要的结果形式如下： hello 2 me 1 you 1 先创建map阶段的代码，在这里需要自定义一个mapper类，继承框架中的Mapper类 public static.
零基础学习hadoop到上手工作线路指导（编程篇）
weixin_33859844的博客
08-07 319
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop集群WordCount详解
lzxyzq的博客
05-07 3678
Hadoop集群WorkCount详解 MapReduce理论介绍 MapReduce处理过程 MapReduce代码 1.MapReduce 理论介绍1.1 MapReduce编程模型 MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇
Hadoop之WordCount实战详解
charming的专栏
04-04 6111
WorldCount可以说是MapReduce中的helloworld了，单词计数主要完成的功能是:统计一系列文本文件中每个单词出现的次数，通过完成这个简单程序让读者摸清 MapReduce 程序的基本结构。 特别是对于每一个阶段的函数执行所产生的键值对。这里对MapReduce过程原理不过多说明。 环境说明 CentOS 7 Hadoop 2.7.5 JDK 1.8 IDE是IDEA+Gr...
WordCount详解
11-20
WordCount是Hadoop自带的亦例程序之一，整个程序虽然简单却涵盖了 MapReduce 的最基本使用方法。一般我们学习一门程序设计语言，最开始上手的程序都是“HelloWorld”， 可以说 WordCount 就是学习掌握 Hadoop MapReduce 编程的“Hello World”。 WordCount的功能是统计输人文件（也可以是输入文件夹内的多个文件）中每个单词出现的次数。基本的解决思路也很直观，就是将输入的文件文本切分成单词，将其中相同的单词聚集在一起，统计其数量作为该单词的出现次数输出。
hadoop 运行成功代码（wordcount）
03-15
3. 使用Hadoop命令提交WordCount程序，指定输入和输出路径。 4. Hadoop集群执行任务，完成后在指定的输出路径下生成结果文件。 在实际应用中，Hadoop WordCount的示例不仅可以帮助理解MapReduce的工作原理，还常...
使用hadoop实现WordCount实验报告.docx
06-10
3. **运行WordCount程序**：调用Hadoop自带的Java程序`hadoop-mapreduce-examples-2.7.7.jar`，指定输入和输出参数。 ### 四、实验结果 成功运行WordCount后，可以在指定的输出文件夹（例如/output）中看到统计...
初学Hadoop之图解MapReduce与WordCount示例分析
02-01
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记：mapreduce框架详解3、hadoop示例程序wo
大数据：Hadoop入门案例，命令行wordcount统计(1)
最新发布
2401_84123171的博客
04-19 1011
学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的Android框架体系架构知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的Android框架体系架构知识脑图原件（包括上方的面试解析xmind文档）
Hadoop集群-WordCount运行详解.pdf
10-23
Hadoop集群-WordCount运行详解.pdf Hadoop,Hadoop集群,WordCount,pdf
Hadoop示例程序WordCount运行及详解
11-20
在hadoop平台上，实现词频统计（WordCount），指令很详细
WordCount程序详解
MWhzx的专栏
11-01 7327
输入：hello hadoop hello word  下面是map函数 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache
mapreduce(二):wordcount详解
cloud-2014的专栏
06-30 661
package mapreduce; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.ap
WordCount代码详解
buxiangdangcaiji的博客
04-27 781
偏移量，因为前面有三个单词，所以下一个开始为4，有因为前面有六个单词，所以为7 Mapper<LongWritable, Text, Text, IntWritable> 注释：LongWritable：输入的k1为int类型、Text：输入的value1为字符串类型、Text：输出的key2为字符串类型、 IntWritable：输出的value为int类型 Map上文为HDFS，下文为reduce //将maptask传给我们的内容先转换成StringString lin...
Hadoop WordCount 详解
L668303的博客
10-30 1780
mapreduce运行机制，这些按照时间顺序包括：输入分片（input split）、map阶段、combiner阶段、shuffle阶段和reduce阶段。   输入分片（input split）：InputSplit是Hadoop定义的用来传送给每个单独的map的数据，在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input s
白话Hadoop入门-WordCount详细讲解（2）
herr_kun的博客
10-10 1457
     前一篇博客讲述了如何进行Hadoop坏境的搭建，以及第一个传输文件程序的编写，通过第一个文件可能大概对Hadoop有一个了解了，但是Hadoop的精髓在于mapreduce，下面我们就来看看如何编写Hadoop的第一个“hello world”程序--也就是WordCount程序。     有很多的博客讲述Wordcount是什么，但是没有对里面的代码进行详细讲解，导致很多的入门者卡在...
hadoop之WordCount编程详解
君永夜
02-26 661
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值