Windows上配置hadoop环境

引用至两个博主的文章:
https://www.cnblogs.com/yifengjianbai/p/8258898.html
https://blog.youkuaiyun.com/qq_35535690/article/details/81976032

1 安装

1.下载hadoop2.5.2.tar.gz：https://pan.baidu.com/s/1dELEuNR
2.下载hadooponwindows-master.zip：https://pan.baidu.com/s/1o7YTlJO （能支持在windows运行hadoop的工具）

下载hadoop2.5.2.tar.gz ，并解压到你想要的目录下，我放在D:\Environment\hadoop

但是我之前已经装过了，我自己装的是hadoop-2.7.2 上面那个链接是没有问题的哈。
解压自己的hadoop-2.7.2的jar包放到路径下，不需要配置bin文件内容，已经自动配置好了。
只需要配置环境变量和配置hadoop配置文件就OK了。

2 配置环境变量

右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME，如下图

编辑PATH：

%HADOOP_HOME%\bin

注意: 修改自己Windows上面的主机名字： 改成你自己的名字，在此我自己设置的是Yuz
我的电脑-》右键-》属性

3 修改hadoop配置文件

注意：修改到自己的目录，然后hdfs：//xxx 这个Yuz替换成你自己的改的电脑用户名
编辑“D:\Environment\hadoop\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；

<configuration>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/Environment/hadoop/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/Environment/hadoop/workplace/name</value>
    </property>
	<!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
<!--
    <property>
        <name>fs.default.name</name>
        <value>hdfs://Yuz:9000</value>
    </property>
-->
</configuration>

注意： 不要用fs.default.name标签，导致后面报错！！！！

2.编辑“D:\Environment\hadoop\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存；

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.编辑“D:\Environment\hadoop\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录；

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/Environment/hadoop/workplace/data</value>
    </property>

</configuration>

4.编辑“D:\Environment\hadoop\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

</configuration>

5.编辑“D:\Environment\hadoop\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存；

注意： 这里的JAVA_HOME 是你自己的jdk路径

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Environment\jdk

4 替换文件

把hadooponwindows-master.zip解压，将bin目录文件替换原来hadoop目录下的bin目录；

5 运行环境

以管理员身份打开命令提示符
输入hdfs namenode -format
出现的情况是：

进入hadoop\sbin目录下执行
start-all.cmd

此时我们跳出4个窗口：

查看运行的所有节点
然后我们输入： jps -

访问hadoop的web界面
打开浏览器输入: http://localhost:50070

访问 http://localhost:8088 访问yarn的web界面，有就表明已经成功:

停止运行的所有节点的命令
stop-all:

至此，hadoop服务已经搭建完毕。

我们关闭hadoop之后，我们要重新进入hadoop/sbin目录下执行：start-all.cmd

我们创建文件夹:

hadoop fs -mkdir hdfs://localhost:9000/user/

hadoop fs -mkdir hdfs://localhost:9000/user/yuzinput

自己在D盘底下写一个1.txt文件，上传至hdfs

hadoop fs -put D:\1.txt hdfs://localhost:9000/user/yuzinput

查看hdfs上是否有该文件:

hadoop fs -ls hdfs://localhost:9000/user/yuzinput