Hadoop在eclipse上实践之一——WordCount

最新推荐文章于 2025-07-23 13:59:28 发布

原创最新推荐文章于 2025-07-23 13:59:28 发布 · 469 阅读

0 ·

CC 4.0 BY-SA版权

Haddop 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了如何在Eclipse中配置Hadoop Map-Reduce，包括设置Hadoop本地文件路径，创建Map-Reduce Location，确保配置与Hadoop配置文件一致。接着，通过新建Map-Reduce工程，复制并运行WordCount示例，指导如何创建input.txt文件并上传到DFS，最后设置运行配置以执行WordCount任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、新建一个Map-Reduce

eclipse的WIndows-->Preferences-->Hadoop Map-Reduce-->右边选择至本机的hadoop文件夹，apply

点击鼠标处，新加一个Map-Reduce Location，然后设置Location名称为local(自选)，Map-Reduce Master端口9001，DFS Master端口为9000，这个与配置文件mapred.xml与core-site.xml中保持一致。然后就会连接Hadoop Master（此处也是本机）并在上面新建对应文件，并在本地eclipse上显示。

重启eclipse，刷新之后才能看到新的状态，如图页面编辑Location。

fs.defualt.name：这个在General tab页已经设置了
mapred.job.tracker：这个在General tab页也设置了
dfs.replication：这个这里默认是3，因为我在hdfs-site.xml里面设置成了1，所以这里也要设置成1

接下来就可以像java工程一样进行hadoop开发了。

2、新建一个Map-Reduce工程，然后将/home/cc/local/hadoop-1.2.1/src/examples/org/apache/hadoop/examples/WordCount.java拷贝到相应工程目录下，

在tmp目录下新建文件夹wordcount，然后在个人单机上新建input.txt，输入相应内容，Upload files to DFS，将input.txt导入。

以上可以用hadoop fs -mkdir 指令等实现

然后Run Configuration工程：Arguments hdfs://localhost:9000/home/cc/local/hadoop-1.2.1/tmp/wordcount/input.txt hdfs://localhost:9000/home/cc/local/hadoop-1.2.1/tmp/wordcount/out_result，设置输入文件及输出文件夹。