解决win下eclipse连linux的hadoop集群连不上的问题

 

一、windows下的eclipse连接hadoop集群

1.加入eclipse的hadoop插件

    下载hadoop-eclipse-plugin-X.jar，并加入到eclipse安装目录的plugins文件夹下

    重启eclipse

 

2.解压hadoop的安装包到win本机

    在eclipse中做如下配置

    Window  → Preferences，找到 Hadoop Map/Reduce

    将Hadoop installation directory设置成刚才hadoop安装包的解压路径

    重启eclipse

 

3.配置hadoop连接

    选择Map/Reduce Perspective

    新建New Hadoop Location，配置相关hadoop环境

    重启eclipse

   重启后会显示HDFS文件系统的内容

 

4.新建 Map/Reduce Project

  new → Project  → Map/Reduce Project

  项目中会自动导入解压的hadoop目录下lib文件夹中的jar包

 

二、解决eclipse连接不上hadoop的问题：

如果eclipse连接hadoop出现Connection refused 错误，ping linux的hadoop集群也能ping通，但telnet到hdfs的端口不通，查看hadoop的linux主机的端口状态，注意使用的IP协议，如果使用IPv6，则做如下配置：

取消linux的IPv6支持：

#vi /etc/modprobe.d/dist.conf

加入以下两行

alias net-pf-10 off
alias ipv6 off

保存退出

重启linux。

启动hadoop集群

 

用eclipse重新连接hadoop集群