Hadoop在win11安装

本文详细指导了如何在Windows11系统上安装和配置Hadoop,包括JDK的安装、Hadoop环境变量的配置、Spark的下载与配置,以及在过程中遇到的常见问题及其解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop在win11安装

1 安装并配置jdk-1.8(jdk-8u391)

Java Archive Downloads - Java SE 8u211 and later (oracle.com)

注意:更改jre和jdk路径,不要包含空格和中文

配置java环境变量

请添加图片描述
请添加图片描述

检查是否安装完成

win+r+cmd

请添加图片描述

2 下载并配置Hadoop

Apache Hadoop-3.3.5

由于Hadoop大部分在linux上使用,所以在win系统上使用还需要下载winutils这个第三方包

GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows

下载对应版本的包含winutiles.exe文件的压缩包,将压缩包里bin里的所有文件替换掉Hadoop的解压缩文件夹里的bin文件夹里文件

请添加图片描述

配置Hadoop环境变量

请添加图片描述

请添加图片描述

检查是否安装完成

请添加图片描述

修改Hadoop配置文件

core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:///E:/hadoop-3.3.5/tmp</value>
  </property>
</configuration>
hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///E:/hadoop-3.3.5/data/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///E:/hadoop-3.3.5/data/dfs/datanode</value>
  </property>
</configuration>

注意file所指文件保存路径替换成自己设置的namenode和datanode的地址,没有的文件夹要自己去新建,建好文件夹再填这些地址进入配置

mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

格式化namenode

在hadoop安装目录的bin目录下

hadoop namenode -format

请添加图片描述

成功格式化后进入hadoop的sbin文件夹内打开各节点

.\start-all.cmd

请添加图片描述

请添加图片描述

检查是否成功运行4个进程

请添加图片描述

3 下载并配置Spark

Downloads | Apache Spark

配置Spark环境变量

请添加图片描述

在这里插入图片描述

检查是否安装完成

在这里插入图片描述

运行pyspark

在spark根目录python文件夹下运行pyspark

在这里插入图片描述

报错解决

Cannot create symbolic link : 客户端没有所需的特权。 : E:\hadoop-3.3.5\lib\native\libhdfspp.so

我使用7-zip解压Hadoop文件夹,但是报错

在这里插入图片描述

解决办法:已管理员身份运行7-zip对Hadoop文件夹解压缩,即可正常全部解压

java.io.IOException: NameNode is not formatted.

在这里插入图片描述

出现这个报错是指namenode没有初始化

解决办法,杀死所有进程后进行初始化,然后再start-all.cmd

NodeManager没有启动

在这里插入图片描述

解决办法:添加yarn-site.xml文件配置,变成如下配置

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>1</value>
  </property>
</configuration>

补充的两条配置第一个是nodemanager运行时的最低内存,第二个是nodemanager运行时的cpu数量

修改后再次运行,发现还是报错

查找错误日志
在这里插入图片描述

解决办法:运行start-all.cmd时需要以管理员身份运行cmd,即可正常运行
请添加图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值