1.2.2.4eclipse开发MapReduce

总目录：https://blog.youkuaiyun.com/qq_41106844/article/details/105553392

Hadoop - 子目录：https://blog.youkuaiyun.com/qq_41106844/article/details/105553369

 

开发环境搭建：

阶段一：

安装eclipse Linux版。

下载hadoop-eclipse-plugin-XXX.jar，xxx为hadoop版本号。下载完成后，将插件放到eclipse安装目录中plugins目录下。

阶段二：

运行eclipse，Window-preferences-Hadoop Map/Reduce设置目录为Hadoop安装目录。

 

配置集群中Hadoop的路径

开启Hadoop，Windows—Open Perspective—Other，选中Map/Reduce,ok

 

打开map/reduce工作区

之后在上方出现MapReduce工作区，在下方会出现Map/Reduce Locations和蓝色小象图标。

 

创建连接

点击Map/Reduce Locations选项卡，点击蓝色小象，打开配置窗口。

 

配置项

Location name随便填写，Map/Reduce（v2）Master中host填写master的IP或者网络名，port为yarn文件中scheduler配置端口。DFS Mster中port为core文件中fs配置端口。User name为用户名。

 

mapred-site.xml

 

core-site.xml

出现这个正确

 

hdfs目录

阶段三

新建MapReduce项目。

 

创建项目

 

下一步

 

项目名

建立MapReduce程序

 

建立程序

 

包名

 

main程序