windows搭建hadoop

本文在win7上操作，不需要安装cygwin！

1.安装配置jdk（windows版本）

参考文章：http://www.runoob.com/java/java-environment-setup.html

2.安装hadoop

1） hadoop-2.7.3.tar.gz，网盘链接如下：

https://pan.baidu.com/s/1LUctB2Yfx3gWa7DHujMW-A

2）windows版本hadoop所需的bin文件，网盘链接如下：

https://pan.baidu.com/s/1uIMWd1jxBiKNKEWXkrPLgQ

3）将hadoop-2.7.3.tar.gz下载解压，然后将上述两个bin目录下的文件内容合并在一起

3.配置hadoop环境变量

1）设置HADOOP_HOME，即hadoop安装目录：D:\hadoop\hadoop-2.7.3

2）设置hadoop的Path环境变量，即%HADOOP_HOME%\sbin;%HADOOP_HOME%\bin;

4.修改hadoop配置文件

需要修改的配置文件都在目录D:\hadoop\hadoop-2.7.3\etc\hadoop

1）修改coresite.xml文件

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/hadoop-2.7.3/workspace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop/hadoop-2.7.3/workspace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2）修改mapred-site.xml文件

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3）修改hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop/hadoop-2.7.3/workspace/data</value>
    </property>
</configuration>

4）修改yarn-site.xml文件

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5）.修改hadoop-env.cmd文件

JAVA_HOME重新设置，语句如下：

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_131

注：jdk版本因人而异！

5.格式化namenode

打开windows的cmd命令行工具，输入命令：

hdfs namenode -format

6.启动hadoop

输入命令：start-all

启动结果如下：

7.查看hadoop启动进程

输入命令：jps

hadoop的进程启动结果如下：

OK！