Eclipse部署hadoop开发环境-初级

之所以叫初级,是因为目前还有些不太明白的地方,但是部署完以后可以在本地运行Map-Reduce程序了,但是尝试了很多次,依然不能提交到集群。下面进入正题:

尝试运行了hadoop自带的example里面的wordcount程序之后,开始考虑在eclipse里面搭一套map-reduce的开发环境,自己写写程序试试。

由于对这个开发环境的搭建实在不熟,加上网上找的很多资料都言之不详,很有误导性,所以搭建的过程很曲折,甚至还又自己搭了一套单机版的hadoop。所以这里我只说主要流程,顺带说一下中间可能遇到的问题,具体如何曲折的在这里就省些笔墨不讲了。

首先当然是下载hadoop-eclipse的插件:https://github.com/winghc/hadoop2x-eclipse-plugin,我下载了对应hadoop2.6.0版本的release的jar包,下载完成后直接将这个jar包丢到eclipse所在目录的plugin文件夹中,重起eclipse就可以自动加载了。

在eclipse中的Windows-Preferences就可以看到Hadoop Map/Reduce这项了,这项内容填写本机hadoop所在的文件夹。注意,这一步只是为了让eclipse读到hadoop的jar包而已,本机的hadoop只要有程序就行,即便不开启也可以正常调试。

再之后,就可以在这里配置MapReduceLocation了。需要提前说明的是:需要提交到集群才需要配置下面这几张图的内容!如果只想本地测试的话,那么建工程的时候eclipse把jar包弄进来就足够了,这个在后面的步骤会讲!

这里写图片描述
在下面的窗口右键,选择New HadoopLocation,就可以弹出如下的窗口

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值