编译一个小小的插件对于出学者来说,可能会出现很多问题,为了大家可以顺利使用eclipse操作hadoop,请看如下编译过程
说明:
我的系统是ubuntu14.04
hadoop版本是hadoop-2.6.0
插件名称:hadoop2x-eclipse-plugin
编译步骤
1.根据上面的插件地址下载hadoop2x-eclipse-plugin,放到你想放的地方
2.编译该插件需要ant工具,如果没有自己下载哦
3.打开命令行进入hadoop2x-eclipse-plugin
4.(先看步骤5)执行ant jar -Dversion=2.6.0 -Dhadoop.version=2.6.0 -Declipse.home=/usr/share/eclipse -Dhadoop.home=/home/zangxf/hadoop-2.6.0
eclipse.home配置成eclipse安装目录(我的是/usr/share/eclipse)
hadoop.home配置成hadoop的解压目录 (我的是/home/zangxf/hadoop-2.6.0)
将 2.x.x修改成对应的hadoop的版本号(我的是2.6.0)
5.在步骤四执行过程中,会产生一些错误,主要是因为jar包版本不对:
解决方案:
修改hadoop2x-eclipse-plugin\ivy\libraries.properties文件下的版本号,
将jar包版本号换成与hadoop-2.6.0\share\hadoop\common\lib下面jar对应的版本号(注意上面的截图只是一部分,下拉滚动条还有很多版本号)
6.步骤四中按enter健就开始编译了,最后在hadoop2x-eclipse-plugin\build\contrib\eclipse-plugin下生成hadoop-eclipse-plugin-2.x.x.jar
7.将hadoop-eclipse-plugin-2.x.x.jar放到eclipse的plugins目录下,启动eclipse
8.打开window===>prefernces,找到Hadoop Map/Reduce选项卡
配置hadoop installation directory目录,指向hadoop的安装目录,如下图:
9.打开window====>show view====>other,找到Map/Reduce Locations,使其显示
10.在Map/Reduce Locations中右键=====>new hadoop locations,
注意:MR Master和DFS Master配置必须和mapred-site.xml和core-site.xml等配置文件一致
然后根据需要配置Advanced Parameters里的参数
如有不明白的地方可以提出来,我会及时解答。