windows下hadoop-2.8.4的伪分布式安装

最新推荐文章于 2025-04-17 09:50:19 发布

Mo_JingQing

最新推荐文章于 2025-04-17 09:50:19 发布

阅读量1.3k

点赞数 2

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/mxdmojingqing/article/details/82498000

版权

hadoop 专栏收录该内容

0 篇文章

订阅专栏

本文详细介绍了在Windows环境下安装和配置Hadoop的过程，包括安装JDK、配置环境变量、安装Hadoop、启动和停止Hadoop的方法，以及解决常见错误的技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.安装jdk，配置环境变量

二.安装hadoop

三.启动hadoop

四.停止hadoop

五.错误解决

一.安装jdk，配置环境变量

安装步骤省略，配置如下。（以我自己安装的jdk1.8为例）

配置JAVA_HOME=D:\software\java\jdk1.8.0_161，将 %JAVA_HOME%\bin; 添加到PATH中。

查看jdk是否配置成功。打开cmd，输入 java -version,如下图所示，表示成功。

二.安装hadoop

hadoop原生安装包下载地址：http://hadoop.apache.org/releases.html，我选的是如图所示2.8.4版本的，点击对应版本的 binary,即可下载。

将hadoop-2.8.4.tar.gz解压，得到hadoop-2.8.4文件夹
配置hadoop环境变量

HADOOP_HOME=D:\software\hadoop-2.8.4，将%HADOOP_HOME%\bin; %HADOOP_HOME%\sbin; 添加到PATH中。

打开cmd，输入hadoop version，如果出现下图内容，说明配置成功。

进入%HADOOP_HOME%\etc\hadoop目录中，找到hadoop-env.cmd文件，将文件中的 set JAVA_HOME=%JAVA_HOME% 替换成 set JAVA_HOME=D:\software\java\jdk1.8.0_161（即换成自己安装jdk的路径）
进入D:\software\hadoop-2.8.4\etc\hadoop目录中，找到core-site.xml，添加相应的配置信息。

<configuration>
	 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000/</value>
    </property>
    <!-- 配置Hadoop临时目录文件 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///D:/software/hadoop-2.8.4/data/tmp</value>
    </property>
</configuration>

进入D:\software\hadoop-2.8.4\etc\hadoop目录中，找到hdfs-site.xml，添加相应的配置信息。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
  <!-- 配置Secondary NameNode的IP地址及端口（HTTP） -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>localhost:50090</value>
    </property>

    <!-- 配置Secondary NameNode的IP地址及端口（HTTPS） -->
    <property>
        <name>dfs.namenode.secondary.https-address</name>
        <value>localhost:50091</value>
    </property>
	<property>
	    <name>dfs.namenode.name.dir</name>
		<value>file:///D:/software/hadoop-2.8.4/data/dfs/namenode</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///D:/software/hadoop-2.8.4/data/dfs/datanode</value>
	</property>
</configuration>

进入D:\software\hadoop-2.8.4\etc\hadoop目录中，找到yarn-site.xml，添加相应的配置信息

<configuration>
      <property>
	    <name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
    </property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
	    <name>yarn.application.classpath</name>
		<value>
		    %HADOOP_HOME%\etc\hadoop,
		    %HADOOP_HOME%\share\hadoop\common\*,
		    %HADOOP_HOME%\share\hadoop\common\lib\*,
		    %HADOOP_HOME%\share\hadoop\mapreduce\*,
		    %HADOOP_HOME%\share\hadoop\mapreduce\lib\*,
		    %HADOOP_HOME%\share\hadoop\hdfs\*,
		    %HADOOP_HOME%\share\hadoop\hdfs\lib\*,          
		    %HADOOP_HOME%\share\hadoop\yarn\*,
		    %HADOOP_HOME%\share\hadoop\yarn\lib\*
		</value>
    </property>
</configuration>

进入D:\software\hadoop-2.8.4\etc\hadoop目录中，复制mapred-site.xml.template，并将复制出的文件命名为mapred-site.xml，添加相应的配置信息。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在windows下启动需要依赖winutils.exe和一些.dll文件，可从下面的链接获取（https://download.youkuaiyun.com/download/a781136776/10438710 ），将压缩文件bin目录下的所有文件复制到%HADOOP_HOME%\bin目录，不要覆盖%HADOOP_HOME%\bin原有文件。