window10安装Hadoop3.1.3

最新推荐文章于 2024-09-20 19:46:51 发布

原创最新推荐文章于 2024-09-20 19:46:51 发布 · 1.1w 阅读

69 ·

CC 4.0 BY-SA版权

文章标签：

#window安装hadoop3.1.3

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了如何在Windows 10上安装Hadoop 3.1.3，包括所需工具、安装步骤、配置文件修改以及验证安装成功的全过程。特别提醒，需使用JDK8，避免版本不兼容问题。安装成功后，通过运行特定命令和访问相关URL可检查Hadoop是否正常运行。

最近做实验需要在Linux系统安装Hadoop，由于我之前就想在window上安装，所以借此机会先在window上安装再在Linux安装。

个人比较喜欢安装比较新的东西，所以选择Hadoop3.1.3

准备工具：
1、jdk8，这里不要用其他jdk了，会出现一些其他问题的，我用jdk11有些包就找不到，好像jdk9都不行
2、Hadoop3.1.3，官网下载，也可以下载其他的3.0以上的版本，3.0以下的版本安装有些不太一样，下载地址Hadoop3.1.3
3、Hadoop3.1.3在window运行的工具winutils，下载地址winutils

注意：winutils有与之对应的Hadoop，如果是3.0以下的可能不行，尽量找相对应的版本吧

Hadoop安装：

jdk的安装不用说了，能够想到安装Hadoop的哪个不是安装jdk的，只要安装的是jdk8的就行

Hadoop的安装和jdk的安装是一致的

1、系统变量中建立HADOOP_HOME变量，然后赋值你的安装路径
在这里插入图片描述

2、在path变量中添加Hadoop的bin
在这里插入图片描述
3、控制台输入hadoop version，输入版本就说明安装成功

修改配置文件：

配置之前先创建一些文件夹
在这里插入图片描述
然后在data文件夹下面再创建两个文件夹

需要配置的文件在安装路径的etc文件夹下面
在这里插入图片描述

1、hadoop-env.cmd文件：如果你的jdk路径中没有空格，那么这个可以不用修改，如果包含了空格，比如：
这里以安装目录为C:\Program Files\Java\jdk1.8.0_181为例，因为Program Files中存在空格，若是直接使用会出现错误，可以下面两种方式之一进行处理：
只需要用PROGRA~1 代替Program Files，即改为C:\PROGRA~1\Java\jdk1.8.0_18
或是使用双引号改为 “C:\Program Files”\Java\jdk1.8.0_181
在这里插入图片描述

2、core-site.xml文件：添加一下代码

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>  
</configuration>

在这里插入图片描述
3、hdfs-site.xml文件：添加一下文件，路径改成自己的安装路径

<configuration>
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/E:/Hadoop/hadoop-3.1.3/hadoop-3.1.3/data/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/E:/Hadoop/hadoop-3.1.3/hadoop-3.1.3/data/datanode</value>  
    </property>
</configuration>

在这里插入图片描述
4、mapred-site.xml文件：

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

在这里插入图片描述
5、yarn-site,xml文件

<configuration>

<!-- Site specific YARN configuration properties -->

	<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
	<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

</configuration>