apache hadoop的standAlone集群的搭建

最新推荐文章于 2024-06-17 15:53:56 发布

travellingMan

最新推荐文章于 2024-06-17 15:53:56 发布

阅读量266

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop cluster hdfs

本文链接：https://blog.youkuaiyun.com/travellingMan/article/details/82799194

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍Hadoop集群的部署步骤，包括环境搭建、配置文件修改、数据存储路径设置及集群启动过程。涵盖NameNode、SecondaryNameNode、DataNode、ResourceManager和NodeManager的配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、集群的部署

运行服务	                                      		服务器IP 						主机名
NameNode	     								192.168.52.100						node01
SecondaryNameNode								192.168.52.100			
DataNode										192.168.52.100				
ResourceManager									192.168.52.100					
NodeManager										192.168.52.100

1.1、下载apache hadoop的安装包

http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

1.2、在服务器上新建路径

mkdir -p /export/softwares   存放安装包的路径
mkdir -p /export/servers       存放解压的文件路径

1.3、上传apache hadoop2.7.5的tar.gz的包

cd /export/softwares
用远程连接工具把安装包上传到该目录下
解压：
tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

1.4、修改配置文件

1.4.1 修改core-site.xml文件

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  core-site.xml

<configuration>

	<!-- 使用hdfs文件存储系统 -->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://192.168.52.100:8020</value>
	</property>
	
	<!-- 集群中临时文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>
	
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整    4M默认 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟  保留7天默认-->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

1.4.2、修改hdfs-site.xml

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml

<configuration>

	<!-- secondaryname的http访问的路径-->
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<!-- namenode的http访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>

<!-- namenode元数据存储的路径，多个路径之间要用逗号分割 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<!-- 编辑日志文件的存放路径-->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>

<!-- 集群中的副本数 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

	<!-- 实际工作中访问权限一定要打开，定义为true -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

<!-- 块的大小  hadoop2.*默认是128M,hadoop1.*是64M-->
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

1.4.3、修改hadoop-env.sh

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  hadoop-env.sh
修改改配置文件的java环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_141

1.4.4、修改mapred-site.xml

cd  /export/servers/hadoop-2.7.5/etc/hadoop
mv ./mapred-site.xml.template mapred-site.xml
vim  mapred-site.xml

<configuration>

	<!-- 指定我们的mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

<!-- 开启mr的小任务模式-->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

<!-- 历史日志的web访问地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

1.4.5、修改yarn-site.xml

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 开启日志的聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
<!-- 日志的存留时间 单位是second ->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

1.4.6、修改mapred-env.sh

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-env.sh
修改java的环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_141

1.4.7、修改slaves

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim   slaves
<!-- 配置从节点 -->
localhost

2、启动集群

注意事项：

首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和
准备工作，因为此时的 HDFS 在物理上还是不存在的。

2.1、创建数据存放文件夹

cd  /export/servers/hadoop-2.7.5
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

2.2、启动集群

cd  /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

2.3、查看集群是否启动成功

jps  查看进行号是否出现namenode  datanode  secondaryname resourcemanager nodemanager jobhistory的进程

thank you!