window环境搭建hadoop单点集群

最新推荐文章于 2025-05-24 14:50:39 发布

原创最新推荐文章于 2025-05-24 14:50:39 发布 · 649 阅读

CC 4.0 BY-SA版权

2 篇文章

订阅专栏

本文详细介绍了如何在 Windows 系统上安装和配置 Hadoop 2，包括 JDK 和 Hadoop 环境变量的配置、关键配置文件的修改步骤、使用 hadooponwindows 工具包进行 bin 目录的替换以及启动和验证 Hadoop 的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 参考文档:

 https://wiki.apache.org/hadoop/Hadoop2OnWindows

 http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

 http://m.blog.youkuaiyun.com/S0009527/article/details/74938308

 1.安装需知:

 a.jdk必须是安装在没有中文没有空格的目录下

 b.hadoop-2.6.0.tar.gz是64位的(官网默认是32位)

 c.下载hadoop的windows工具包hadooponwindows

 下载地址:
 https://github.com/sardetushar/hadooponwindows

 2.jdk环境变量和hadoop的环境变量的配置

 jdk需加载bin

 hadoop需加载bin和sbin目录

 3.修改hadoop配置文件(事先创建好目录)
 (注意windows路径写法)

 a.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；

 <configuration>

 <property>

 <name>hadoop.tmp.dir</name>

 
 <value>/C:/hadooptmpdata/tmp</value>

 </property>

 <property>

 <name>dfs.name.dir</name>

 <value>/C:/hadooptmpdata/name</value>

 </property>

 <property>

 <name>fs.default.name</name>

 <value>hdfs://localhost:9000</value>

 </property>

 </configuration>

 b.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存；

 <configuration>

 <property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>

 </configuration>

 c.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录；

 <configuration>

 <!-- 这个参数设置为1，因为是单机版hadoop -->

 <property>

 <name>dfs.replication</name>

 <value>1</value>

 </property>

 <property>

 <name>dfs.data.dir</name>

 <value>/C:/hadooptmpdata/data</value>

 </property>

 </configuration>

 d.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

 <configuration>

 <property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

 </property>

 <property>

 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

 <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

 </configuration>

 e.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存；

 @rem set JAVA_HOME=%JAVA_HOME%

 set JAVA_HOME=D:\java\jdk

 4.用hadooponwindows的bin中文件去覆盖替换掉hadoop的bin中文件
 (很重要)

 5.启动访问

 C:\Users\Administrator>hadoop namenode -format //数据目录切换需格式化

 C:\Users\Administrator>start-all.cmd //启动

 a.如果启动成功会弹出下面四个窗口
 (执行jps在win10上没有信息弹出，win7上可以)

 b.浏览器访问:

 http://localhost:9000
 http://localhost:50070
 c.java代码连接执行命令
 
 