windows eclipse 远程连接 hadoop(linux)

本文介绍了如何在32位Windows系统中,使用Eclipse 4.4.1连接到运行在CentOS上的Hadoop 2.3.0-cdh5.1.3集群。避免安装Cygwin,推荐使用特定插件,并详细讲解了插件安装、Hadoop环境配置、环境变量设置以及解决连接过程中的错误。最后,讨论了在创建MapReduce工程时结合Maven的使用方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本地环境:win7 32位,嗯,机子够烂,eclipse4.4.1 

hadoop服务器:centos  64位,hadoop-2.3.0-cdh5.1.3 


现在很多人依然是在windows上开发的,毕竟生活离不开很多有趣的软件,人性化的软件。

现在想用windows下eclipse连接服务器centos上hadoop。我们该如何搞定呢?


我尝试了很多遍自己做插件,做到想死了。

编译结果终于successful,但是我的eclipse始终无法识别。

后来我尝试用网上的插件,也是费尽心机,终于找到一款合适的插件:

http://download.youkuaiyun.com/detail/javamin/8175863


很多人说什么安装cygwin,我建议你千万不要安装,没啥用,而且很占空间,而且几乎无法卸载干净,而且你的机子会从此变得很卡很卡。。。


把这个插件放到eclipse下的plugins里,重启eclipse。

1.window->preferences


2.当你看到下面这个标识,说明你的插件识别了,不要高兴太早,后面还一堆问题等着你呢

   你必须下载hadoop的tar包(不是src),并解压到你本地的某个目录下。然后填写这里。

还有一步,就是配置本地(win7)的环境变量:HADOOP_HOME为这个目录

还有一步,并配置环境变量path,添加%hadoop_home%/bin


配置hadoop的环境变量我就不啰嗦了,新手的话网上一搜一大把的,不要比我还懒。老手的话,这个都不会,额,估计老手是装的。



3.ok,现在是见证奇迹的时刻,让这个插件显示在你的主界面上:


---------------》》》》》》

------------》》》》》



这里也许会报很多很多的错,至今有个错没搞定,不过不影响使用。其他的上网查,都有答案的。这个包配置这个版本,应该是目前没有什么问题。

4.当你看到下面这张图的时候,说明你远程连接hadoop成功:



ps:

如果这里报什么空指针异常不用理它,要是你的下图没有出现,请按下图操作:


5.你依然不能高兴的太早,后面的问题还是很棘手。现在你可以新建mapreduce工程了.

最好安装maven.那么你就可以新建maven工程了。look.....................



6.我纠结的地方在于:

新建mapreduce工程的话,他可以给我自动导入hadoop所有的包,这样我就省的自己手动导入了。

新建maven程序的话,后面部署啊,导包啊都很方便的。

我想两者兼得,貌似没有选项让我选。


后来我是这么做的,新建一个mapreduce工程,这样所有的hadoop包都有了(因为配置了),然后把这个工程转为maven工程。该删除的文件夹删除,该有的(src/main/java     src/test/java)都建好,ok。


至此完。。。。


哦,还有运行的问题。这个我下次说





评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值