Windows下安装伪分布式Hadoop

1、准备资料

1.1 JDK

• Oracle JDK :https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

1.2 hadoop

• hadoop-2.7.7 https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz
• hadoop-3.2.0 https://archive.apache.org/dist/hadoop/core/hadoop-3.2.0/hadoop-3.2.0.tar.gz

1.3 winutils

gitee：https://gitee.com/ggl321/winutils/tree/master/winutils

各版本winutils:

链接: https://pan.baidu.com/s/1UdMfV9o3MJWJ2_s673WySQ 提取码: ihmn

2、安装hadoop

2.1 安装JDK

此步骤略过，不会的可以参考网上教程

2.2 解压hadoop

已安装hadoop-3.2.0为例

必须使用管理员身份解压，否则无法解压,具体做法使用管理员打开cmd，然后切换到hadoop-3.2.0.tar.gz包所在的路径下，输入以下命令

start winrar x -y hadoop-3.2.0.tar.gz

即可完整解压

2.3 设置hadoop环境变量

将解压后的hadoop文件夹放置到合适的路径，本教案中存放位置为D:\hadoop-3.2.0

检验环境变量是否设置生效，在命令行窗口下输入 hadoop version

2.4 替换bin目录

将下载好的对应版本的winutils的bin目录替换hadoop-2.3.0的并目录

2.5 配置hadoop文件

2.5.1 hadoop-env.cmd

set JAVA_HOME=D:\hadopp-3.2.0\Java\jdk1.8.0_221

2.5.2 core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>file:///D:/hadoop-3.2.0/tmp</value>
　　</property>
</configuration>

2.5.3 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///D:/hadoop-3.2.0/tmp/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///D:/hadoop-3.2.0/tmp/dfs/datanode</value>
  </property>
</configuration>

2.5.4 yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

2.5.5 mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

2.5.6 创建tmp文件夹

2.6 格式化hadoop文件系统

启动cmd，输入hadoop namenode -format

3 启动和关闭hadoop

3.1 启动

在cmd命令行输入start-dfs,将会启动两个命令终端，两个进程，一个namenode,一个datanode

在命令终端输入jps将看到两个进程

打开浏览器输入http://localhost:9870可以打开web管理页面

3.2 关闭hadoop

在命令行终端输入stop-dfs将关闭hadoop

4、制作好的windows-hadoop-3.2.0

如果不愿意自己安装配置，可以下载我配置好的windows-hadoop,内置了jdk，并替换了bin目录，使用该版本，本机不需要安装jdk即可使用，目前提供了两个版本的，一个hadoop-3.2.0,一个hadoop-2.7.7

• hadoop-3.2.0

  链接: https://pan.baidu.com/s/1l-rSnV6Lc9VLsIZfS2iz6g 提取码: 3vbj

• hadoop-2.7.7

  链接: https://pan.baidu.com/s/1he4MYjj184QqJHARMEx8BA 提取码: mgu3

4.1 存放位置

下载后存放在计算机的D盘根目录中，如果想放到其他目录中请自行修改上述的几个文件中的路径

4.2 执行命令

如果自己不想设置环境变量，那么所有的命令只能双击hadoop-shell.cmd后出现的命令窗口中输入，因为在改处理文件中设置了环境变量

echo "开始设置环境变量....."

SET JAVA_HOME=.\Java\jdk1.8.0_221
SET HADOOP_HOME=.
SET PATH=%PATH%;%JAVA_HOME%\bin;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin

doskey ls=dir /b $*
doskey clear=cls
cmd /k

4.3 执行命令

格式化只执行一次，关机的时候最好先执行关闭hadoop后再关机

4.4 关于web端口

web管理端口： hadoop3：9870 hadoop2:50070