Hadoop集群单机版搭建

最新推荐文章于 2024-08-04 13:23:56 发布

原创最新推荐文章于 2024-08-04 13:23:56 发布 · 345 阅读

0 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了在本地环境中搭建Hadoop伪分布式集群的步骤，包括环境准备、主机名与IP映射、关键配置文件修改、格式化namenode、服务启动与验证、防火墙关闭及通过浏览器检查集群状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.准备
Java和hadoop环境都已经配置好(最好设置好免密!)
2.修改主机名和ip映射
vi /etc/hosts
在后边加入本机ip和主机名 192.168.17.120 zhiyou
在这里插入图片描述

3.修改配置文件
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
hadoop的配置文件在/usr/hadoop/hadoop-2.7.3/etc/hadoop下
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop

伪分布式需要修改5个配置文件
3.1配置hadoop

3.1. 第一个：hadoop-env.sh
修改JAVA_HOME的路径
vi hadoop-env.sh
#第25行
export JAVA_HOME=/usr/java/jdk1.8.0_141
在这里插入图片描述
3.2. 第二个：core-site.xml

	<!-- 制定HDFS的老大（NameNode）的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://zhiyou:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录[能自动生成目录] -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/zhiyou/hadoop/tmp</value>
    </property>

在这里插入图片描述

3.3. 第三个：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
        <property>
                    <name>dfs.replication</name>
                       <value>1</value>
        </property>
         <property>
              <name>dfs.namenode.name.dir</name>      			
              		     <value>/usr/local/hadoop/tmp/dfs/name</value>
        </property>
         <property>
              <name>dfs.datanode.data.dir</name>            
                        <value>/usr/local/hadoop/tmp/dfs/data</value>
        </property>

在这里插入图片描述
3.4. 第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
由于一开始没有mapred-site.xml文件,需要把mapred-site.xml.template改成该文件进行配置

	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
    </property>

在这里插入图片描述
3.5. 第五个：yarn-site.xml

yarn.resourcemanager.hostname
zhiyou

yarn.nodemanager.aux-services
mapreduce_shuffle

在这里插入图片描述
4.格式化namenode（是对namenode进行初始化）
hadoop namenode -format

如果一开始配置出错,然后格式化了,最后发现错误从新格式化会导致一些服务起不来!
这时候需要删一些在格式化时创建的文件
1.首先找到hdfs-site.xml
在这里插入图片描述
将 dfs.namenode.name.dir所指定的目录删除、dfs.datanode.data.dir所指定的目录删除，及我们需要删除hdfs-site.xml中配置的存储信息路径。
2.删除core-site.xml配置文件指定的相关目录

然后重新格式化!

5.启动hadoop
先启动HDFS
sbin/start-dfs.sh

	再启动YARN
	sbin/start-yarn.sh

在这里插入图片描述
6.验证是否启动成功
使用jps命令验证

[root@zhiyou sbin]# jps
3912 DataNode
4378 Jps
4331 NodeManager
4093 SecondaryNameNode
3822 NameNode
4239 ResourceManager
在这里插入图片描述
7.关闭防火墙
#停止firewall
systemctl stop firewalld
systemctl disable firewalld.service #禁止firewall开机启动