在ubuntu中搭建Hadoop eclipse开发环境

概述

本文讲述在虚拟机ubuntu16下搭建Hadoop的eclipse开发环境。

软件安装

需要安装软件：
1、安装vmware虚拟机12
2、在虚拟机中安装ubuntu16
3、在虚拟机中安装hadoop伪分布式环境
参考：https://blog.youkuaiyun.com/goodmentc/article/details/80822774

4、在ubuntu中安装eclipse: http://eclipse.org/downloads/
下载下来的一般是tar.gz文件，先解压：

tc@ubuntu:/mnt/hgfs/share$ tar -zxvf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz  -C /home/tc/tools    

这里tools是需要解压的目的目录。
解压完后，在tools下，就可以看到eclipse文件夹。
启动eclipse：

tc@ubuntu:~/tools$   ~/tools/eclipse/eclipse 
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0

创建eclipse快捷方式

为了操作方便，我们创建eclipse的快捷方式，方法如下：
在目录/usr/share/applications下创建eclipse.desktop文件:
tc@ubuntu:/usr/share/applications$ sudo touch eclipse.desktop
编辑eclipse.desktop文件内容:

tc@ubuntu:/usr/share/applications$ **sudo vim eclipse.desktop**
添加内容为：
[Desktop Entry]
Encoding=UTF-8
Name=eclipse
Comment=eclipse
Exec=/**home/tc/tools/eclipse**/eclipse
Icon=/**home/tc/tools/eclipse**/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Development;

注：/home/tc/tools/eclipse/是eclipse的安装目录。
修改文件eclipse.desktop的权限：

tc@ubuntu:/usr/share/applications$ sudo chmod 777 eclipse.desktop 

然后，我们可以在目录/usr/share/applications下将看到eclipse的快捷方式图标，将其复制到桌面即可！

启动Hadoop集群

分别执行命令：

start-dfs.sh  

start-yarn.sh  

导入hadoop eclipse插件

下载插件

插件地址：
https://download.youkuaiyun.com/download/goodmentc/10527519
下载好后，解压文件，在release目录找到jar包放到eclipse安装目录下的plugins目录。

eclipse配置

1.重启eclipse，通过Window->Preferences进入进行设置，如下图：

选择将Hadoop的安装路径。

2.把map\reduce设置窗口调出显示，方便设置Window->Show View->Other找到Map/Reduce Locations，单击“ok”确定。

3.确定后，在eclipse中会多出一个视图：

4.点击带加号的“大象”图标，即可进入设置界面：

“Location Name”： 随便填一个。
主要是端口的设置。

5.端口设置：
- 第一个端口50070
- 第二个端口9000
点击“Finish”，然后在资源管理器中查看DFS连接状态：

 Call From master to localhost:9000 failed on connection exception

特别注意：
Host不能填为：localhost，因为之前我已经将主机名设置为：master了。

这样就可以连接成功了。

接下来，就可以在eclipse中开发和运行hadoop程序了。

遇到的问题

启动eclipse报错：

JVM terminated. Exit code=13
/usr/soft/jdk1.8.0_111/bin/java
-Dosgi.requiredJavaVersion=1.6
-XX:MaxPermSize=256m
-Xms40m
-Xmx512m
-jar /home/tancan/tools/eclipse//plugins/org.eclipse.equinox.launcher_1.3.0.v20130327-1440.jar
-os linux
-ws gtk
-arch x86_64
-showsplash /home/tancan/tools/eclipse//plugins/org.eclipse.platform_4.3.1.v20130911-1000/splash.bmp
-launcher /home/tancan/tools/eclipse/eclipse
-name Eclipse
--launcher.library /home/tancan/tools/eclipse//plugins/org.eclipse.equinox.launcher.gtk.linux.x86_64_1.1.200.v20130807-1835/eclipse_1506.so
-startup /home/tancan/tools/eclipse//plugins/org.eclipse.equinox.launcher_1.3.0.v20130327-1440.jar
--launcher.appendVmargs
-exitdata 34800c
-product org.eclipse.epp.package.jee.product
-vm /usr/soft/jdk1.8.0_111/bin/java
-vmargs
-Dosgi.requiredJavaVersion=1.6
-XX:MaxPermSize=256m
-Xms40m
-Xmx512m
-jar /home/tancan/tools/eclipse//plugins/org.eclipse.equinox.launcher_1.3.0.v20130327-1440.jar   

原因：eclipse是64位，而JDK是32位！

tancan@master:~/tools$ java -d32 -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) Server VM (build 25.111-b14, mixed mode)
tancan@master:~/tools$ java -d64 -version
Error: This Java instance does not support a 64-bit JVM.
Please install the desired version.  

解决：
重新安装64位JDK。