之所以叫初级,是因为目前还有些不太明白的地方,但是部署完以后可以在本地运行Map-Reduce程序了,但是尝试了很多次,依然不能提交到集群。下面进入正题:
尝试运行了hadoop自带的example里面的wordcount程序之后,开始考虑在eclipse里面搭一套map-reduce的开发环境,自己写写程序试试。
由于对这个开发环境的搭建实在不熟,加上网上找的很多资料都言之不详,很有误导性,所以搭建的过程很曲折,甚至还又自己搭了一套单机版的hadoop。所以这里我只说主要流程,顺带说一下中间可能遇到的问题,具体如何曲折的在这里就省些笔墨不讲了。
首先当然是下载hadoop-eclipse的插件:https://github.com/winghc/hadoop2x-eclipse-plugin,我下载了对应hadoop2.6.0版本的release的jar包,下载完成后直接将这个jar包丢到eclipse所在目录的plugin文件夹中,重起eclipse就可以自动加载了。
在eclipse中的Windows-Preferences就可以看到Hadoop Map/Reduce这项了,这项内容填写本机hadoop所在的文件夹。注意,这一步只是为了让eclipse读到hadoop的jar包而已,本机的hadoop只要有程序就行,即便不开启也可以正常调试。
再之后,就可以在这里配置MapReduceLocation了。需要提前说明的是:需要提交到集群才需要配置下面这几张图的内容!如果只想本地测试的话,那么建工程的时候eclipse把jar包弄进来就足够了,这个在后面的步骤会讲!
在下面的窗口右键,选择New HadoopLocation,就可以弹出如下的窗口