准备:eclipse安装包:eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz
hadoop插件:hadoop-eclipse-plugin-2.5.0.jar (可以到网上下载,也可自己编译)
cp eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz /home/hadoop/tools
tar –zxvf eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz
将hadoop-eclipse-plugin-2.5.0.jar 复制到/home/hadoop/tools/eclipse/plugins/
接下来在桌面添加eclipse的启动快捷方式
在linux桌面空白处,点击鼠标右键,弹出一个对话框,选择“create launcher”,--“创建快捷方式“对话框---名字:eclipse –命令:/home/hadoop/tools/eclipse/eclipse 浏览到安装eclipse目录,找到eclipse启动程序---点击图标到这里我们已经配置成功了.
进入Window-->Preference选择 “Hadoop Map/Reduce”配置根目录:
进入Window-->OpenPerspective-->other-->Map/Reduce打开Map/Reduce窗口
打开Map/Reduce View,右键,选择Newhadoop location
配置location
注意:MR Master和DFS Master配置必须和mapred-site.xml和core-site.xml等配置文件一致
新建Mapreduce项目
创建MapReduce程序
编写WordCount程序测试插件使用:
在MapReduce工程下新建WordCount.java程序
将程序放在hadoop集群上运行:右键-->Runas-->Run on Hadoop,最终的输出结果会在HDFS相应的文件夹下显示。