简介
本文介绍了在Ubuntu环境下,如何搭建Hadoop的Eclipse开发环境,并以实际的例子为例,演示应用具体的开发步骤。Hadoop伪分布式运行环境的配置,不算复杂,可以参考个人整理的在Ubuntu环境下搭建Hadoop伪分布式模式运行环境。
在安装插件、配置Hadoop的相关信息之后,如果用户创建Hadoop程序,插件会自动导入Hadoop编程接口的Jar文件,这样用户就可以在Eclipse的图形化界面中编写、调试、运行Hadoop程序,也可以在其中查看程序的实时状态、错误信息和运行结果,还可以查看、管理HDFS及文件,使用非常方便,提高了工作效率。
Eclipse及Hadoop插件安装
我个人使用的neon版本的Eclipse,可以去Eclipse官网下载eclipse-jee-neon-2-linux-gtk-x86_64.tar.gz。Hadoop的插件需要和运行版本保持一致,可以在网上找到2.7.3版本对应的插件hadoop-eclipse-plugin-2.7.3.jar。安装非常简单,只需要将tar.gz文件解压后,将hadoop-eclipse-plugin-2.7.3.jar拷贝到eclipse/plugins目录下,重新启动Eclipse。
Eclipse配置
1. 配置Hadoop安装目录
Eclipse重新启动之后,在Eclipse中配置Hadoop安装目录。依次选择: Eclipse---> Window --->Preferences --->Hadoop Map/Reduce,在相应的界面中配置Hadoop安装目录。
2. 在Eclipse中打开Hadoop试图。依次选择:Eclipse--->Window--->perspective--->other,然后选择Map/Reduced并点击OK。Eclipse会出现Hadoop视图。在左边Project Explorer会出现DFS Locations,下方选择项中会出现Map/Reduce Locations选项卡。
3. 在下方选项卡中选中Map/Reduce Locations,然后再出现的空白处右键点击选择New Hadoop location...,这时会弹出Hadoop Location的窗口。按照下图配置Hadoop: