通过上一篇文章已经在linux下配置好ssh无密码登录和Hadoop环境,今天具体阐述linux下Eclipse开发Hadoop应用程序的环境配置:
设置完成后,点击Finish就应用了该设置。然后,在最左边的ProjectExplorer中就能看到DFS的目录,如下图所示:
如果显示"拒绝连接",请检查你的配置。
至此,所有步骤完毕。就可以开始编写你自己的程序了
环境:Ubuntu11.04
第一步:下载linux下的32位eclipse:eclipse-SDK-4.2.1-linux-gtk.tar.gz
第二步:下载最新版本的hadoop插件
之后将hadoop-1.0.4-eclipse-plugin.jar复制到eclipse/plugins目录下,重启eclipse。
1、在左边的 project explorer 上头会有一个 DFS locations的标志
2、在 windows -> preferences里面会多一个hadoopmap/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中
如果能看到以上两点说明安装成功了。
第三步:配置hadoop路径
Window -> Preferences 选择 “HadoopMap/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。
这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。
第四步:添加一个MapReduce环境
插件装完了,启动Hadoop,然后就可以建一个hadoop连接了,就相当于eclipse里配置一个weblogic的连接。
在Map/Reduce Locations中新建一个HadoopLocation。在这个View中,右键-->New HadoopLocation。在弹出的对话框中你需要配置Location name,如myubuntu,还有Map/ReduceMaster和DFSMaster。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如:

设置完成后,点击Finish就应用了该设置。然后,在最左边的ProjectExplorer中就能看到DFS的目录,如下图所示:
如果显示"拒绝连接",请检查你的配置。
至此,所有步骤完毕。就可以开始编写你自己的程序了