本地测试MapReduce程序

IDE工具: eclipse

设置本地（windows）调试MapReduce程序：

1. 编写Mapper类、Reducer类、编写Main类

可参考 https://blog.youkuaiyun.com/qq_42881421/article/details/83353640

2.准备本地的输入文件

in里面有文本文件a.txt

a.txt内容如下：

hello world
hello hadoop
hello wordcount

 

3. 设置本地参数：

右键Main类-->Run As-->Run Configurations

 

 

 

点击Arguments，在Program arguments设置输入输出参数：

file:///E:/test/wordcount/in file:///E:/test/wordcount/out

 

 

注意：

1.输入路径和输出路径之间用空格隔开（或者用换行隔开）

2.输出文件夹不能存在，执行MapReduce程序会自动创建

3.根据实际情况修改路径

 

点击上图的Run运行

上图箭头指的框框由红色变为灰色后，表示程序运行完成

查看输出，自动生成了输出目录

out目录下的文件有

查看part-r-00000

 

本地代码编写，本地运行测试，极大的方便了程序的调试，待程序调试OK后，再打jar包上传到集群中运行。

 

 

完成！ enjoy it!