### Hadoop
MapReduce单词统计任务的实现
以下是关于Hadoop
MapReduce单词统计任务的具体实现步骤，包括
Mapper、Reducer和Driver类的代码以及如何在IntelliJ
IDEA Community Edition 2018.3.6 x64上进行
本地测试和集群测试。
---
####
Mapper 类设计
Mapper 的主要功能是从输入文件中读取每一行数据并将其拆分为多个单词。每个单词作为键值对的一部分输出给后续处理阶段。
```
java
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.
mapreduce.
Mapper;
import
java.io.IOException;
public class WordCount
Mapper extends
Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
@Override
protected void
map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
String[] words = line.split("\\s+");
for (String w : words) {
if (!w.isEmpty()) { // 跳过空白字符
word.set(w.toLowerCase()); // 将单词转换为小写形式
context.write(word, one); // 输出<word, 1>
}
}
}
}
```
此部分实现了将每行文本分割成单词的功能，并通过 `context.write` 方法发送到 Reducer 中[^1]。
---
#### Reducer 类设计
Reducer 接收来自
Mapper 的中间结果 `<key, Iterable<Value>>` 并对其进行聚合操作。最终输出的是每个单词及其对应的计数。
```
java
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.
mapreduce.Reducer;
import
java.io.IOException;
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get(); // 对相同单词的数量求和
}
context.write(key, new IntWritable(sum)); // 输出<word, count>
}
}
```
该部分完成了对同一单词出现次数的累加计算逻辑[^2]。
---
#### Driver 类设计
Driver 是整个
程序的核心入口点，负责配置 Job 参数并将作业提交至 Hadoop 集群
运行。
```
java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.
mapreduce.Job;
import org.apache.hadoop.
mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.
mapreduce.lib.output.FileOutputFormat;
public class WordCountDriver {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "Word Count");
job.setJarByClass(WordCountDriver.class);
job.set
MapperClass(WordCount
Mapper.class);
job.setCombinerClass(WordCountReducer.class);
job.setReducerClass(WordCountReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
```
这段代码定义了
Map 和 Reduce 函数之间的交互方式，并指定了输入/输出路径[^3]。
---
#### 在 IntelliJ
IDEA 上设置环境
为了能够在 IntelliJ
IDEA Community Edition 2018.3.6 x64 上开发和调试 Hadoop 应用
程序，请按照以下说明完成必要的准备工作：
1. **安装 Maven 插件**
如果尚未启用 Maven 支持，则需激活它以便管理依赖项。
2. **创建项目结构**
使用 Maven 创建一个新的
Java Project，在 pom.xml 文件中添加如下依赖关系来引入所需库版本：
```xml
<dependencies>
<!-- Apache Hadoop Core -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>3.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-
mapreduce-client-core</artifactId>
<version>3.3.1</version>
</dependency>
</dependencies>
```
3. **配置
本地模式
运行参数**
修改 Driver 主函数中的命令行为支持单机模拟
执行。例如可以指定两个虚拟目录分别代表源文件夹与目标存储位置。
4. **启动 MiniDFSCluster 或伪分布式部署节点服务端口监听状态确认无误后再尝试连接实际物理硬件资源池实例地址信息传递过去即可正常运作起来[^4].
---
#### 测试方法
- **
本地测试**:
运行上述编写的 Main 方法前先准备好一些样本文档存放在特定磁盘分区下供其加载解析；之后观察控制台
打印出来的
日志消息判断是否成功生成预期的结果集。
- **集群测试**: 把打包后的 jar 包上传服务器并通过 hadoop 命令行工具调用来触发远程批量运算过程[^5].
---
在IDEA中运行MapReduce程序时，虽然程序成功运行但控制台未显示日志，只出现log4j警告。原因是缺少log4j.properties配置文件。解决方法是在项目resources目录下创建该配置文件，以确保log4j能正确加载并输出日志。
最低0.47元/天 解锁文章
扫一扫
748
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
