Hadoop_MapReduce_WordCount案例

最新推荐文章于 2025-05-14 09:30:00 发布
最新推荐文章于 2025-05-14 09:30:00 发布
阅读量1.8k 收藏 8
点赞数 1
分类专栏： Hadoop 文章标签： mapreduce hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43955488/article/details/122160740
版权
这篇博客详细介绍了如何使用Java实现一个MapReduce程序，用于统计文本文件中每个单词出现的次数。从创建Maven工程，配置依赖，编写Mapper、Reducer和Driver类，到在本地运行测试，再到提交到Hadoop集群进行测试，每个步骤都有清晰的说明和代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1、需求

（1）输入数据

（2）期望输出数据

2、实现（本地测试）

（1）环境准备

        1）创建maven工程，MapReduceDemo（maven官网下载maven，利用阿里镜像速度快，仓库选择自己建的文件夹，默认在c盘）

        2）在pom.xml文件中添加如下依赖

        3）在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

        4）创建包名：com.atguigu.mapreduce.wordcount

（2）三个类

        1）Mapper类

        2）Reducer类

        3）Driver类

 3、提交到集群测试

（1）用maven打jar包，需要添加的打包插件依赖

（2）将程序打成jar包 

（3）拷贝该jar包到Hadoop集群的/opt/module/hadoop-3.1.3路径（可以直接拖进shell中这个目录）

（4）执行WordCount程序（执行前确保集群启动）

1、需求

在给定的文本文件中统计输出每一个单词出现的总次数

（1）输入数据

txt文件

（2）期望输出数据

atguigu	2
banzhang	1
cls	2
hadoop	1
jiao	1
ss	2
xue	1

2、实现（本地测试）

 按照MapReduce编程规范，分别编写Mapper，Reducer，Driver。

（1）环境准备

        1）创建maven工程，MapReduceDemo（maven官网下载maven，利用阿里镜像速度快，仓库选择自己建的文件夹，默认在c盘）

        2）在pom.xml文件中添加如下依赖

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
    </dependency>
</dependencies>

        3）在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

        4）创建包名：com.atguigu.mapreduce.wordcount

（2）三个类

！注意：导包要仔细

        1）Mapper类

package com.atguigu.mapreduce.wordcount2;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * KEYIN,map阶段输入的key的类型：LongWritable
 * VALUEIN,map阶段输入的value的类型：Text
 * KEYOUT,map阶段输出的key的类型：Text
 * VALUEOUT,map阶段输出的value的类型：IntWritable
 */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private Text outK = new Text();
    private IntWritable outV = new IntWritable(1);

    /**
     * @param context, 联络作用，联络Map和Reduce
     */
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //String的方法多,因此转为String
        //1 获取一行，得到：atguigu atguigu
        String line = value.toString();

        //2 切割,得到：
        //atguigu
        //atguigu
        String[] words = line.split(" ");

        //3 循环写出
        for (String word : words) {
            //封装outK
            outK.set(word);

            //写出
            context.write(outK,outV);
        }
    }
}

        2）Reducer类

package com.atguigu.mapreduce.wordcount2;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * KEYIN,reduce阶段输入的key的类型：Text
 * VALUEIN,reduce阶段输入的value的类型：IntWritable
 * KEYOUT,reduce阶段输出的key的类型：Text
 * VALUEOUT,reduce阶段输出的value的类型：IntWritable
 */
public class WordCountReducer extends Reducer<Text, IntWritable,Text, IntWritable> {
    IntWritable outV = new IntWritable();

    /**
     * Iterable<IntWritable> values,相当于集合
     */
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        //传入的数值 atguigu(1,1) atguigu出现两次
        int sum = 0;
        //累加
        for (IntWritable value : values) {
            sum += value.get();
        }

        outV.set(sum);

        //写出
        context.write(key,outV);
    }
}

        3）Driver类

package com.atguigu.mapreduce.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;


public class WordCountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //1、获取job
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        //2、设置jar包路径
        job.setJarByClass(WordCountDriver.class);

        //3、关联mapper和reducer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4、设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //5、设置最终输出的kv类型（不一定是reducer的输出类型）
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //6、设置输入路径和输出路径
        FileInputFormat.setInputPaths(job, new Path("D:\\code\\Hadoop\\input\\inputword"));
        FileOutputFormat.setOutputPath(job, new Path("D:\\code\\Hadoop\\test\\output"));

        //7、提交job
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);
    }
}

 3、提交到集群测试

为了使输入和输出路径可变，利用args，修改driver类

        //6、设置输入路径和输出路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

（1）用maven打jar包，需要添加的打包插件依赖

<build>
    <plugins>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.6.1</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

（2）将程序打成jar包 

 

 

（3）拷贝该jar包到Hadoop集群的/opt/module/hadoop-3.1.3路径（可以直接拖进shell中这个目录）

（4）执行WordCount程序（执行前确保集群启动）

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar  wc.jar
 com.atguigu.mapreduce.wordcount.WordCountDriver /user/atguigu/input /user/atguigu/output

注意要copy driver类的reference，操作：选中左边文件，右键copy->copy reference

大数据之hadoop中的MapReduce（WordCount实例）
a18379692263的博客
11-18 2556
1、概述 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。 优点：易于编程（用户只关心业务逻辑即可）、良好的扩展性（可以动态增加服务器）、高容错性（任意一台机器挂掉，可以将任务转移到另一节点）、适合海量数据计算（PB/BP） 缺点：不擅长实时计算、不擅...
第五节Hadoop学习案例——MapReduce案例（WordCount）
qq_53114527的博客
10-10 4060
第五节Hadoop学习案例——MapReduce案例（WordCount）
MapReduce 实现 WordCount
最新发布
2402_83590031的博客
05-14 1111
MapReduce 由 Google 提出，后来被开源实现并广泛应用于大数据框架（如 Hadoop）中。它主要由两个阶段组成：Map 阶段和 Reduce 阶段。Map 阶段：负责将输入数据进行拆分，然后对每个数据片段执行用户定义的 Map 函数，生成一系列的中间键值对。Reduce 阶段：将 Map 阶段产生的具有相同键的中间值进行聚合处理，执行用户定义的 Reduce 函数，最终得到处理结果。通过 WordCount 这个经典实例，我们深入了解了 MapReduce 编程模型的工作原理和实现方式。
【Mapreduce】Mapreduce实例——WordCount
码农印象
05-24 4438
前言一、 MapReduce的工作原理二、MapReduce框架的作业运行流程三、实验环境四、实验内容五、实验步骤 MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 一、 MapReduce的工作原理 在分布式计算中，MapRe...
Hadoop(三) -- MapReduce（一）WordCount
BubbleMa
12-10 842
一、设计思想 移动计算代替移动数据。分而治之。 MapReduce是一个分布式计算框架，借助函数式编程思想，用Map和Reduce两个函数编程实现基本的并行计算任务。MapReducer内部封装了文件读取操作，用户在使用时只需要继承Mapper和Reducer类并实现map和reduce两个方法（相当于将自己的业务逻辑作为参数传入MapReducer框架）即可实现大数据分布式计算。 MapReduce计算模型主要由三个阶段构成：Map、shuffle...
【Hadoop】2.MapReduce示例——WordCount（统计单词）
菜鸟sdut的博客
03-24 1280
过程分析 统计单词，把数据中的单词分别统计出出现的次数 过程图（图片源自网络）： 实现Mapper、Reducer、Driver WordCountMapper ： public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> { private Text k = new T...
mapred.zip_hadoop_hadoop mapreduce_mapReduce
09-20
测试样例通常是验证功能和性能的关键，这些样例可能包括各种数据处理场景，比如WordCount——一个经典的MapReduce示例，用于统计文本中单词出现的次数。通过分析和运行这些样例，开发者可以更好地理解和掌握...
java__Hadoop_MapReduce教程.rar
02-07
教程中将提供实际的MapReduce程序示例，例如WordCount，这是MapReduce的经典入门案例，用于统计文本文件中单词的出现频率。通过实践，你可以更深入地理解MapReduce的工作机制。 9. **性能优化**： 除了基本概念外...
Hadoop_MapReduce：使用Hadoop进行大数据处理
02-15
Hadoop_MapReduce 使用Hadoop进行大数据处理 该项目在Hadoop框架上使用Map-Reduce从零开始实现基本的文本处理任务，例如字数，n元语法，倒排索引，关系连接和k近邻算法。
Hadoop之MapReduce01【自带wordcount案例】
2401_86430062的博客
07-22 1017
这些 MapReduce程序的代码都在hadoop-mapreduce-examples-2.6.4.jar包里,这个jar包在 hadoop安装目录下的/share/hadoop/mapreduce/目录里。引入 MapReduce 框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将 分布式计算中的复杂性交由框架来处理。而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度。在hdfs中创建文件夹存储需要统计的文件，及创建输出文件的路径。要做分布式运算必须要启动yarn。
phoenix_wordcount.tar.gz_Hadoop Phoenix_mapReduce_phoenix wordc
09-14
《Hadoop、Phoenix与MapReduce：探索Phoenix WordCount实例》 在大数据处理领域，Hadoop、Phoenix和MapReduce是三个至关重要的组件。本篇将详细阐述这三个技术，并以"Phoenix WordCount"为例，深入解析其在实际应用...
Hadoop MapReduce初窥-wordcount示例
cjf_wei的博客
08-26 843
MapReduce是一种可用于并行处理大规模集群上的海量数据的编程模型。它的出现使得并行处理海量数据变的更容易，容错性更高。本文借助wordcount程序介绍MapReduce的一些基本知识。本文在Eclipse环境中开发，然后编译成jar包，放单节点的伪集群中运行。
hadoop学习（7）—— 使用yarn运行mapreduce一个简单的wordcount示例
隔壁小王的博客
04-15 1168
1.hdfs文件系统目录要求（建议） /user /{username} --用户名 /mr --MapReduce类型应用 /wordcount --应用的名称 /input --要处理的文件
hadoop基于MapReduce的wordcount系统案例实现
onlylove777的博客
04-01 1350
hadoop wordcount实现详解！ 设备： 操作系统：Ubuntu 14.04.5 32位版本 软件：VMware 12 一、MapReduce理论简介 1.1 MapReduce编程模型 　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的...
Hadoop基础【MapReduce概述，wordcount示例，自定义JavaBean实现序列化】
weixin_43923463的博客
03-08 852
一、概述 定义：MapReduce是一个分布式运算程序的编程框架，是接触到的第一个编程框架。 在框架下编程体验：非常不透明，大部分功能都已经实现了。 核心功能：将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个Hadoop集群上。 优点：简单实现一些接口，我们可以非常快速的开发出一个分布式程序。 缺点：慢，因为资源占用相对低。在计算机中，时间和空间是一对矛盾的概念，想要快速就要占用多的空间，想节省资源就要多花费时间。MapReduce框架用的很少，但思想一致。 核
Hadoop中MapReduce实现wordcount
布克思轶的博客
08-01 410
1.分而治之 ①继承Mapper Mapper<KEYIN,VALUEIN,KETOUT,VALUEOUT> 四个泛型含义：输入键，输入值，输出键，输出值 输入键KEYIN：输入的key的类型是每一行的标识，也就是每一行的起始偏移量，数据类型为LongWritable 输入值VALUEIN：指的是一行内容 数据类型为Text 输出键KEYOUT：指的是每一个单词 数据类型...
Hadoop中MapReduce的使用
theVicTory的博客
05-01 4026
简要介绍了Hadoop中MapReduce的相关概念，并以WordCount为例介绍了MapReduce框架的使用方法，最后实现了MapReduce中序列化对象的过程。
Hadoop之——WordCount案例与执行本地jar包
雷神乐乐的博客
02-12 8754
Hadoop之——WordCount案例与执行本地jar包
Hadoop生态圈（三）：MapReduce
jiezou12138的博客
04-10 547
目录 1 MapReduce入门 1.1 MapReduce定义 1.2 MapReduce的优缺点 1.3 MapReduce核心思想 1.4 MapReduce进程（MR） 1.5 MapReduce编程规范 1.6 WordCount案例 2 Hadoop序列化 2.1 序列化概述 2.1.1 什么是序列化 2.1.2 为什么要序列化 2.13 为什么不使用ja...
Hadoop_MapReduce编程实现 起码五个需求
01-03
### 使用Hadoop MapReduce编程实现五个及以上需求的示例 #### 1. 单词计数 (Word Count public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } } ``` 此代码展示了如何创建一个简单的映射器和化简器来计算文档中各个词语的数量[^3]。 #### 2. 平均值计算 (Average Calculation) 平均值计算可以用来求解一组数值数据集的算术平均数。这通常涉及到两个阶段：先汇总总数与项数，再除以总数量得到最终结果。 ```java // 假设有一个自定义的Combiner用于局部聚合... public static class AvgMapper extends Mapper<LongWritable, Text, Text, DoubleArrayWritable> { ... } public static class AvgReducer extends Reducer<Text, DoubleArrayWritable, Text, FloatWritable> { ... } ``` 这里`DoubleArrayWritable`被设计成携带一对双精度浮点数——分别是累加后的总和及其对应的条目数目。 #### 3. 数据过滤 (Data Filtering) 通过设定特定条件筛选符合条件的数据记录。比如只保留年龄大于等于某个阈值的人的信息： ```java public static class FilterMapper extends Mapper<LongWritable, Text, NullWritable, Text> { private final static NullWritable NULL_KEY = NullWritable.get(); private Text lineRecord; @Override protected void setup(Context context) throws IOException, InterruptedException { super.setup(context); this.lineRecord = new Text(); } @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split(","); if(Integer.parseInt(fields[1]) >= THRESHOLD_AGE){ lineRecord.set(value); context.write(NULL_KEY,lineRecord ); } } } // 这里不需要reducer因为只需要输出满足条件的结果即可。 ``` 这段代码实现了基于给定字段（如年龄）进行简单过滤的功能。 #### 4. 排序操作 (Sorting Operation) 对于大规模数据集来说，在分布式环境中执行排序是一项重要任务。可以通过设置适当的键比较逻辑来自定义排序顺序。 ```java public static class SortMapper extends Mapper<LongWritable, Text, CustomKey, NullWritable> {...} public static class SortReducer extends IdentityReducer<CustomKey,NullWritable>{...} ``` 其中`CustomKey`应该继承于`WritableComparable<T>`接口并重写其compareTo方法以便支持自定义排序规则。 #### 5. 统计分析 (Statistical Analysis) 利用MapReduce框架来进行一些基本的概率分布估计或其他形式的统计学研究也是可行的；例如估算泊松分布参数λ或构建直方图等。 ```java public static class StatisticMapper extends Mapper<LongWritable, Text, Text, LongWritable> {...} public static class StatisticReducer extends Reducer<Text, LongWritable, Text, LongWritable> {...} ``` 这些组件可以根据具体应用场景调整内部算法细节以适应不同的统计模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值