Ubuntu下Eclipse搭建Hadoop开发环境

Ubuntu下安装Eclipse及Eclipse中安装Hadoop插件

 

0x01 下载相关资源

前提条件：Ubuntu已经安装Hadoop伪分布环境

下载列表：

1.Eclipse安装包：eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz

2.Eclipse下的Hadoop插件：hadoop-eclipse-plugin-2.5.0.jar

下载链接：

http://pan.baidu.com/s/1sjLq3EX

0x02 安装Eclipse

1.下载Eclipse安装包

从下载链接中下载Eclipse安装包，然后把Eclipse安装包复制到虚拟机中的Ubuntu中或是使用Ubuntu中的浏览器下载Eclipse到本地。然后把Eclipse解压到目录/opt/eclipse中。

命令：sudo tar -xzvf eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz -C/opt/

图1 解压命令

图2 解压后的文件目录

    至此，Eclipse安装完毕，很简单吧！

2.启动Eclipse

进入Eclipse安装目录/opt/eclipse/，里面有个可执行文件eclipse。使用下面的命令将其打开。

命令：./eclipse

图3 运行Eclipse

然后跟windows下的Eclipse一样，选择工作区域。勾选下面那个选项，下次启动就不会出现这个面板，直接进入Eclipse了。

图4 初次启动界面

0x03 安装Hadoop插件

1.复制插件到Eclipse中

关闭Eclipse，然后将下载好的插件复制到虚拟机中。然后将插件复制或是移动到/opt/eclipse/dropins/（复制到/opt/eclipse/plugins/也是可以的）中。

命令：sudo mv hadoop-eclipse-plugin-2.5.0.jar /opt/eclipse/dropins/

图5 复制插件到Eclipse中

2.配置Hadoop插件

打开Eclipse，选择Window --> Perferences。然后在左边选择Hadoop Map/Reduce，在右边选择hadoop安装的路径（/usr/local/hadoop）。然后点击确定。

图6 配置Hadoop插件

3.选择编辑模式

首先点击Eclipse右上角的按钮（见下图），选择编辑模式。

图7 打开编辑模式

打开之后如下图所示，选择Map/Reduce。

图8 选择Map/Reducce

4.新建连接

    点击下面的一只黄色的小象，在下面的空白区域点击鼠标右键，在弹出菜单中选择New Hadoop Location，新建一个Hadoop连接。

图9 新建Hadoop连接

 

之后会打开配置界面，输入Locationname(随便填)。然后修改Host(即你要连接的集群的IP地址，因为我们测试的是伪分布式环境，所以用localhost，指向本机)。然后将DFS Master下面的Port端口号改为9000。然后点击Finish完成。

图10 配置参数

5.查看集群中的文件

配置好之后，在左侧面板中打开DFSLocations --> king 。如果你能看到里面的文件夹即说明配置成功。

图11 查看集群中的文件

6.结语

至此，配置全部结束。希望可以帮助到大家。

7新建MR工程：选择新建map/reduce工程