Windows7操作系统下使用Eclipse来搭建hadoop开发环境

一、步骤：

1、  安装jdk（略）

2、 安装eclipse（略）

如有问题请参考http://blog.youkuaiyun.com/crazytaliban/article/details/68958000

3、 在windows7中安装hadoop-2.7.3。

只需将hadoop-2.7.3.tar.gz解压即可，我解压到d:\hadoop-2.7.3。

4、 安装eclipse的hadoop插件。

从网上下载hadoop-eclipse-plugin-2.7.3.jar（或自己编译）， 将其拷贝到D:\eclipse\plugins目录下即可。

5、 启动eclipse，点开Windows->preferences，弹出如下对话框，设置hadoop的安装目录。注意：是windows7系统下的目录。即步骤3解压的目录。设置好后点击OK。

6、点开Windows->ShowView->Other…，弹出如下对话框。

在其中选中Map/ReduceLocations，点击OK后将成功添加Map/ReduceLocations窗口，如下图：

7、点击右侧的小象图标创建New Hadoop Location…，如下图:

弹出如下对话框：

设置Hadoop集群的主节点，此处我添加的是主节点的名称“Master”,如此设置需要在C:\Windows\System32\drivers\etc文件下的host文件中添加一行信息：

192.168.1.200   Master，如下图。 或者直接在Host文本框中输入IP地址。

DFS Master中的Port信息一定要与core-site.xml文件中的配置信息一致。

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://Master:9000</value>

       <description>NameNode URI</description>

</property>

设置好后点击Finsh，Map/ReduceLocations中多出一条记录。

8、点开Windows->Perspective->OpenPerspective->Other…，弹出如下对话框。

选择Map/Reduce，在Project Explorer中添加DFSLocations,如下图：

9、新建工程

点开File->New->Project，弹出如下对话框：

选择Map/Reduce Project，点击Next，弹出如下对话框：

输入工程名称，如果Windows7上的Hadoop位置有变化可以点击“ConfigureHadoop install directory”进行重新配置。

然后点击Next，弹出如下对话框：

点击“Finish”，完成创建。

右键单击工程目录下的src子目录，在弹出菜单中选择New->Class，弹出如下对话框：

在对话框中填写类名称，新建Java类。然后点击“Finish”。完成类的添加，如下图：

打开新添加的类WordCount.java，在其中添加如下代码：

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

 

public classWordCount {

   publicstaticclassTokenizerMapperextends Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one</