Window10下安装配置Hadoop-2.9.2

---

一、资源下载

1.下载Hadoop-2.9.2

下载地址：http://archive.apache.org/dist/hadoop/core

2.下载Window环境Bin目录文件

下载地址：https://github.com/steveloughran/winutils

二、安装配置

1.安装文件

将下载到的文件hadoop-2.9.2.tar.gz解压到e:\hadoop-2.9.2

将winutils-master.zip文件中hadoop-2.8.3\Bin目录中的文件解压到e:\hadoop-2.9.2\Bin目录

创建Hadoop存储目录
e:\hadoop-2.9.2\data
e:\hadoop-2.9.2\data\dfs
e:\hadoop-2.9.2\data\dfs\datanode
e:\hadoop-2.9.2\data\dfs\namenode

将e:\hadoop-2.9.2\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-2.9.2.jar文件复制到e:\hadoop-2.9.2\share\hadoop\yarn\lib目录下（否则YARN Resourc Manager服务会报错）

2.配置环境变量

配置环境变量HADOOP_HOME

配置环境变量JAVA_HOME

配置环境变量PATH

2.配置Hadoop配置文件

配置e:\hadoop-2.9.2\etc\hadoop\core-site.xml文件

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

配置E:\hadoop-2.9.2\etc\hadoop\hdfs-site.xml文件

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property> 
     	<name>dfs.permissions</name> 
     	<value>false</value> 
    </property>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>localhost:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/E:/hadoop-2.9.2/data/dfs/namenode</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/E:/hadoop-2.9.2/data/dfs/datanode</value>
	</property>
</configuration>

配置e:\hadoop-2.9.2\etc\hadoop\mapred-site.xml文件
将e:\hadoop-2.9.2\etc\hadoop\mapred-site.xml.template文件重命名为mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://localhost:9001</value>
	</property>
</configuration>

配置e:\hadoop-2.9.2\etc\hadoop\yarn-site.xml文件

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

编辑e:\hadoop-2.9.2\etc\hadoop\hadoop-env.cmd文件

set JAVA_HOME=C:\Progra~1\Java\jre1.8.0_192

---

三、启动服务

格式化HDFS(调出命令行窗口，输入命令hdfs namenode -format)

启动Hadoop服务(在命令行窗口执行e:\hadoop-2.9.2\sbin>start-all.cmd)

停止Hadoop服务(在命令行窗口执行e:\hadoop-2.9.2\sbin>stop-all.cmd)

四、测试服务

在浏览器地址栏中输入：http://localhost:50070查看Hadoop状态

在浏览器地址栏中输入：http://localhost:8088查看Hadoop集群状态

创建目录（utilities/ Browse the file system）

上传文件