linux下使用eclipse编程mapreduce

 

1. 配置环境

生效：

1. 启动

3、使用Eclipse:

（1）新建项目：

File-New-JavaProject

填上Project name 选择Next

 

导入包：

选择Librarises-Add External JARS

（全部过程：）

到usr/local/hadoop/share/hadoop里：

Common里的nfs和common-2.7.1.jar

common里的lib的全选

Hadoop 下的hdfs的最后三个

Mapreduce 第三个之后的全部

Mapreduce下的lib下的全部：

Hadoop下的yarn的第四个开始的全部：

导包全部完成。

 

 

  （详细过程：）

 

到usr/local/hadoop/share/hadoop里：

Common里的nfs和common-2.7.1.jar

common里的lib的全选

Hadoop 下的hdfs的最后三个

Mapreduce 第三个之后的全部

Mapreduce下的lib下的全部：

Mapreduce下的lib下的全部：

 

Hadoop下的yarn的第四个开始的全部：

导包全部完成。

点击finish

(2)编写java应用程序：

点击刚刚创建好的工程Dedup，右键选择New-Class

在Name里输入Java类的名称，然后选择finish:

 

出现以下界面，点击创建的java即可编译代码：

 

填写代码：

以去重代码为例：

 

注意：

改为自己的地址。

 

运行：run as javaproject

浏览器输入localhost:9000（自己的端口号）

 

然后在 hadoop 目录下查看/output/part-r-00000

（3）编译打包程序：

在计算机/usr/local/hadoop新建了一个文件夹myapp放要建立的jar 包(jar包可以放在任意位置)

右键选择刚建的项目：export-Java-Runnable  JAR file

在该界面中，选择“Runnable JAR file”，然后点Next

弹出下面界面：

“Launch configuration”选择自己的类

在“Export destination”中需要设置JAR包要输出保存到哪个目录

（4）运行jar包

到jar包存放的位置下（myapp目录下）输入命令

Hadoop jar Dedup.jar input output （运行该命令前要把代码中建的output文件夹删了，因为输出文件夹output是自动产生的，所以打包之前运行过，所以已经产生了，

hadoop fs –rm –R /output）

给一个输入文件目录/input 一个输出文件目录/output

查看结果：