hadoop安装（window10）

最新推荐文章于 2025-03-20 16:01:38 发布

manmanlu2006

最新推荐文章于 2025-03-20 16:01:38 发布

阅读量3.7k

点赞数 5

分类专栏：大数据文章标签： hadoop big data windows

本文链接：https://blog.youkuaiyun.com/manmanlu2006/article/details/119819221

版权

大数据专栏收录该内容

12 篇文章

订阅专栏

一、下载和winutils

1.下载：http://archive.apache.org/dist/hadoop/core/

官网下载：http://hadoop.apache.org/releases.html （提供最新的几个版本）

https://github.com/steveloughran/winutils（windows安装需要）

如果出现“Bandwidth limit exceeded”-限制下载，可以用迅雷下载，本人直接用迅雷下载；

或者参考：https://blog.youkuaiyun.com/docsz/article/details/118520724

二、解压

将tar.gz包解压至D盘根目录：Note：必须用管理员权限解压

三、配置环境变量:

新建系统变量：

变量名:HADOOP_HOME

变量值:你的hadoop位置 E:\hadoop\hadoop-2.8.0\hadoop-2.8.0

编辑Path系统路径 %HADOOP_HOME%\bin

四.编辑hadoop的文件

java 路径不能有空格，采用以下配置方式或者没有空格的目录set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_172；

打开 \etc\hadoop\hadoop-enc.cmd文件,修改JAVA_HOME为你自己的jdk路径。注意你的JDK安装在Program Files目录下，

名称用名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

更改为：

五、配置

5.1、配置core-site.xml

修改D:/hadoop-3.0.0/etc/hadoop/

<configuration>
	<property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

5.2、修改D:/hadoop-3.0.0/etc/hadoop/ mapred-site.xml配置（是mapred-site.xml.template,去掉template）:

<configuration>
	<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

5.3、在:/hadoop-3.0.0目录下创建data目录，作为数据存储路径：

5.4、修改D:/hadoop-3.0.0/etc/hadoop/ hdfs-site.xml配置:

<configuration>
	<!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	<property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
		<name>fs.checkpoint.dir</name>
		<value>/D:/hadoop-3.0.0/data/snn</value>
	</property>
	<property>
		<name>fs.checkpoint.edits.dir</name>
		<value>/D:/hadoop-3.0.0/data/snn</value>
	</property>
	   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

注意：记得把上边地址改为自己电脑hadoop的地址；

5.5、修改D:/hadoop-3.0.0/etc/hadoop/ yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
   </property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

六、bin目录替换

下载：https://github.com/steveloughran/winutils

安装的是3.0.0版本，所以用3.0.0中bin去替换；

将文件D:\job\hadoop\hadoop-2.7.7\bin\hadoop.dll复制到以下位置

D:\job\hadoop\hadoop-2.7.7\sbin

C:\Windows\System32

检查Hadoop是否安装成功：

运行“Hadoop version”,成功如下：

七、启动服务

以管理员身份打开命令提示符打开cmd,cd到安装目录下的bin，并执行命令：

hdfs namenode -format （注意：-前面有空格）

上图失败，是环境变量问题，或者配置Hadoop环境变量后重新启动；

我在自己笔记本重新安装了Hadoop2.7.1，运行如下：（同样的步骤)

我以为安装成功，运行jps- 命令时，只显示一个进程；我查看了启动窗口，是core-site.xml有错，UTF-8问题，打开文件才发现，是中文错误。重新配置，重新格式化，重新启动，运行成功。如下:

访问http://localhost:50070,访问hadoop的web界面：

我另一台电脑装的hadoop3.0.0，访问50070却打不开， hadoop3需要访问://localhost:9870

在浏览器地址栏中输入：http://localhost:8088查看集群状态。（或者用http://IP：8088）

------------------------------------------------------------

八、问题

1、java version “1.7.0”
2、Hadoop version “2.7.1”
3、Windows10

同样配置过程，但是查看运行程序，发现resourcemanager未能启动

解决方法
进入bin目录下（注意，不是sbin目录），使用notepad++打开yarn.cmd，选择编辑–>文档格式转换–>转为Windows格式，保存，重新启动Hadoop，访问成功

————————————————
版权声明：本文为优快云博主「凯桑嗓子都喊哑了」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/qq_39831963/article/details/108794418