hadoop-eclipse-plugin的正确使用(对应0.20.1版本)

配置Hadoop Eclipse Plugin for 0.20.1：详细教程

最新推荐文章于 2024-10-22 12:38:13 发布

原创

最新推荐文章于 2024-10-22 12:38:13 发布 · 2.9k 阅读

4 ·

CC 4.0 BY-SA版权

这篇博客详细介绍了如何在Eclipse中配置hadoop-eclipse-plugin，针对0.20.1版本。内容包括Location Name、Map/Reduce和DFS Master的设置，User Name的选择，以及配置Advanced Parameters的重要选项如dfs.replication和hadoop.tmp.dir。博主还提到了可能遇到的问题及解决办法，例如缺少jar包的处理，并提供了编写和运行第一个Hadoop HelloWorld程序——WordCount的步骤。

1.下载hadoop-0.20.1-eclipse-plugin.jar包 (地址：http://code.google.com/p/hadoop-eclipse-plugin/)
2.拷贝上面下的包到eclipse的plugins文件夹下
3.重启eclipse，点击主菜单上的window-->preferences，在左边栏中找到Hadoop Map/Reduce，点击后在右边对话框里设置hadoop的安装路径即主目录，
eg: /usr/local/hadoop
4.选择Map/Reduce视图:eclipse--->window---->open perspective---->other---->map/reduce
window ->Show View -> 搜索“map/reduce Locations”视图选上 -> 点击“OK”

5. 增加DFS Locations：点击Map/Reduce Locations—> New Hadoop Loaction，填写对应的host和port

Location Name ：此处为参数设置名称，可以任意填写

Map/Reduce Master (此处为Hadoop集群的Map/Reduce地址，应该和mapred-site.xml中的mapred.job.tracker设置相同)

DFS Master (此处为Hadoop的master服务器地址，应该和core-site.xml中的 fs.default.name 设置相同)

一般情况下为
Map/Reduce Master
Host： localhost
Port： 9001
DFS Master
Host： localhost
Port： 9000
配置完成后，点击Finish。如配置成功，在DFS Locations中将显示出新配置的文件夹。

在左边project explorer 列表框中找到“DFS Locations”右键refresh，就会看到
一个目录树，eclipse提供了一个目录树来管理HDFS系统，右键可以创建/删除目录，上传/
查看文件，操作起来很简单，内容与命令 hadoop dfs -ls 结果一致

load 加载
unload 卸载
upload 上传
download 下载

6. 新建Map/Reduce任务
File->New->project->Map/Reduce Project->Next
Project name:example ->Next->Finish
-> src右键->New->class Name:example->Finish ->
左侧窗口就显示一个example.java 类文件了

详细解释（必看）：（http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html）

Location Name：

这个不用在意，就是对这个MapReduce的标示，只要能帮你记忆即可

Map/Reduce Master 部分相关定义：

Host：上一节搭建的集群中JobTracker所在的机器的IP地址

port：JobTracker的端口

两个参数就是 mapred-site.xml中mapred.job.tracker的ip和端口

DFS Master部分：

Host：就是上一节集群搭建中Namenode所在机器IP

Port：就是namenode的端口

这两个参数是在 core-site.xml里fs.default.name里面的ip和端口

User Name：