Eclipse连接到hadoop集群详解

安装eclipse插件

  1. 解压hadoop-1.0.4.tar.gz包,将其中hadoop-1.0.4\src\contrib\eclipse-plugin里面工程拷出来引入到eclipse工程,

    需要jar路径错误的引用,重新添加lib文件夹添加jar包,必须添加如下jar包:

  2. Jar包添完后工程就不报错了,打开工程下的plugin.xml,用plug-in Manifest Editor 打开,当不确定需要引入哪些jar包的时候也可以尽量全部引入

  3. 打开xml的runtime在右下角remove错误的jar包引用并添加有用的(工程中引入的全部jar包)jar包,注此项很重要
  4. 点击debug如果没问题点击导出成jar包,拷到eclipse的dropins里面重启eclipse即可

eclipse配置hadoop并连接

  1. 打开C:\Windows\System32\drivers\etc\hosts文件并编辑配置好hadoop的主机IP
  2. open Perspective的打开Map/Reduce视图和在show view下打开Map/Reduce视图
  3. 点击大象图标配置新的hadoop项目分别按照hadoop项目中的core-site.xml 和 hdfs-site.xml配置好
  4. 在这之前hadoop项目需要在hdfs-site.xml中配置

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

  1. 常见问题详解

    1. 点击大象图标添加hadoop项目没反应,此时可能是由于

    没配置好,部分jar包没引入

    b)配置好了用户名等项发现登陆不了,报了异常可能是由于没有在hdfs-site.xml配置<property>

    <name>dfs.permissions</name>

    <value>false</value>

    </property>

    b)连接不上有可能是windows系统的用户名和linux用户名不一致不叫hadoop,所以可以修改用户名一致

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值