如何使用eclipse开发hadoop程序

说明:

环境说明：服务器端：虚拟机下安装centos6.8, jdk1.7, hadoop2.7.5

客户端：win10,jdk1.7,hadoop2.7.5,eclipseMars.2 Release (4.5.2)                  

一、安装并配置相关软件

1、下载windows下使用的eclipse 插件hadoop-eclipse-plugin-2.7.2.jar,以及winutils.exe和hadoop.dll。

2、将hadoop解压到某目录，如笔者D:\centos-hadoop-2.7.5。名称前加上centos是因该版本是笔者在centos下自行编译生成的。

 3、把hadoop.dll和winutile.exe放到D:\centos-hadoop-2.7.5目录下的bin

 4、配置环境变量：

（1）添加变量名：HADOOP_HOME，变量值为hadoop解压后的路径D:\centos-hadoop-2.7.5。

（2）添加变量名：JAVA_HOME，变量值为jdk安装路径C:\Java\jdk1.7.0_75。

（3）变量path属性值里添加：%HADOOP_HOME%\bin;%JAVA_HOME%\bin

5、把hadoop-eclipse-plugin-2.7.3.jar包放到eclipse安装路径的plugins的文件夹里，并重启eclipse

6、运行eclipse，打开菜单Window->ShowView->Other,显示如       

 

在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键-->New Hadoop Location。在弹出的对话框中需要配置Locationname，还有Map/Reduce Master和DFS Master。

Map/Reduce（V2）Master
Host：为Map/Reduce主节点址(任务追