基于CentOS7的Hadoop3.2.2完全分布式集群部署记录

最新推荐文章于 2023-09-24 16:35:28 发布

原创最新推荐文章于 2023-09-24 16:35:28 发布 · 693 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hadoop

Hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了一个包含三台服务器的小型Hadoop集群的搭建过程。涵盖了环境准备、Java环境安装、服务器配置、无密码SSH登录设置、防火墙关闭、Hadoop安装与配置、集群启动等步骤。

服务器部署结构

hostname	hadoop1	hadoop2	hadoop3
IP	192.168.10.25	192.168.10.27	192.168.10.28
HDFS	NameNode		SecondaryNameNode
HDFS	DataNode	DataNode	DataNode
YARN		ResourceManager
YARN	NodeManager	NodeManager	NodeManager

一.环境准备

1、安装java环境，推荐rpm安装，自行安装。

2、永久修改CentOS服务器hostname主机名，主机名和IP一一对应

vi /etc/hostname

执行命令，将默认的主机名修改为想要的主机名，这里将三台机器的hostname分别修改为hadoop1，hadoop2和hadoop3

3、配置服务器hosts，所有服务器都要设置

vi /etc/hosts

打开后增加一下内容，shift+g到文件尾部，o进行换行插入

192.168.10.25 hadoop1
192.168.10.27 hadoop2
192.168.10.28 hadoop2

修改完成后自动生效

4、设置服务器之间无密码ssh登陆

Hadoop集群中的各个机器间会相互地通过SSH访问，每次访问都输入密码是不现实的，所以要配置所有服务器
备注，每台机器都要配置对三台机器的ssh登陆，包含自身，不然启动时候会报错

a.在服务器上生成公钥

ssh-keygen -t rsa

一路回车，都设置为默认值，然后再当前用户的Home目录下的.ssh目录中会生成公钥文件（id_rsa.pub）和私钥文件（id_rsa）。

ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

三台机器均需要进行此操作。

5、关闭防火墙

sudo systemctl disable firewalld

也可以进行端口开放，这里不在进行描述

二.安装hadoop

1.先在第一台机器上解压、配置Hadoop，然后再分发到其他两台机器上的方式来安装集群。

我在这里使用的是hadoop-3.2.2版本，版本下载地址点击跳转

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

下载后我这里放在/usr/local位置，然后进行解压

tar -zxf hadoop-3.2.2.tar.gz

在三台机器上配置环境变量

vi /etc/profile

添加以下内容

export HADOOP_HOME=/usr/local/hadoop-3.2.2
export PATH=$HADOOP_HOME/bin:$PATH
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

执行以下命令使配置生效

source /etc/profile

2.修改hadoop，文件路径在etc/hadoop, 首先，配置Hadoop JDK路径，定义集群操作用户，在hadoop-env.sh文件中添加如下内容，jdk路径自行修改

export JAVA_HOME=/usr/java/jdk1.8.0_111

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/data/hadoop/pids
export HADOOP_LOG_DIR=/data/hadoop/logs

3、配置core-site.xml

<configuration>
	<property>
		  <name>fs.defaultFS</name>
		  <value>hdfs://hadoop1:8020</value>
	</property>
	<property>
		  <name>hadoop.tmp.dir</name>
		  <value>/data/hadoop/tmp</value>
	</property>
</configuration>

fs.defaultFS为NameNode的地址，hadoop.tmp.dir为hadoop临时目录的地址。

4、配置hdfs-site.xml

<configuration>
   <property>
	     <name>dfs.namenode.secondary.http-address</name>
	     <value>hadoop3:50090</value>
   </property>
   <property>
	     <name>dfs.replication</name>
	     <value>2</value>
   </property>
   <property>
	     <name>dfs.namenode.name.dir</name>
	     <value>file:/data/hadoop/hdfs/name</value>
   </property>
   <property>
	     <name>dfs.datanode.data.dir</name>
	     <value>file:/data/hadoop/hdfs/data</value>
   </property>
</configuration>

dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号，因为在规划中，我们将hadoop3规划为SecondaryNameNode服务器。

5、配置workers

hadoop1
hadoop2
hadoop3

6、配置yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.localizer.address</name>
      <value>0.0.0.0:8140</value>
   </property>
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hadoop2</value>
   </property>
   <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
   </property>
   <property>
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>604800</value>
   </property>
   <property>
       <name>yarn.log.server.url</name>
       <value>http://hadoop3:19888/jobhistory/logs</value>
   </property>
</configuration>

根据规划yarn.resourcemanager.hostname这个指定resourcemanager服务器指向hadoop2。
yarn.log-aggregation-enable是配置是否启用日志聚集功能。
yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多长时间。

7、配置mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
   
   <property>
       <name>yarn.app.mapreduce.am.env</name>
       <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
   </property>
   <property>
       <name>mapreduce.map.env</name>
       <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
   </property>
   <property>
       <name>mapreduce.reduce.env</name>
       <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
   </property>
   
   <property>
       <name>mapreduce.jobhistory.address</name>
       <value>hadoop3:10020</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>hadoop3:19888</value>
   </property>
</configuration>

mapreduce.framework.name设置mapreduce任务运行在yarn上。
mapreduce.jobhistory.address是设置mapreduce的历史服务器安装在hadoop3机器上。
mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。

8、复制Hadoop配置好的包到其他服务器

scp -r hadoop-3.2.2 hadoop2:/usr/local
scp -r hadoop-3.2.2 hadoop3:/usr/local

9、格式化NameNode

在NameNode机器上执行格式化,这里是hadoop1，在/usr/local/hadoop-3.2.2下执行

hdfs namenode -format

注意：
如果需要重新格式化NameNode,需要先将原来NameNode和DataNode下的文件全部删除，不然会报错，NameNode和DataNode所在目录是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir属性配置的。

因为每次格式化，默认是创建一个集群ID，并写入NameNode和DataNode的VERSION文件中（VERSION文件所在目录为hdfs/name/current 和 hdfs/data/current），重新格式化时，默认会生成一个新的集群ID,如果不删除原来的目录，会导致namenode中的VERSION文件中是新的集群ID,而DataNode中是旧的集群ID，不一致时会报错。

三、启动集群服务

1、启动HDFS，在hadoop1上执行

/usr/local/hadoop-3.2.2/sbin/start-dfs.sh

2、启动YARN

/usr/local/hadoop-3.2.0/sbin/start-yarn.sh

3、启动日志服务，在hadoop3上执行，规划在hadoop3运行jobhistoryserver服务

mapred --daemon start historyserver

4、查看HDFS Web页面

http://192.168.10.25:9870/
其中，192.168.10.25为服务器hadoop1的IP地址。

5、查看YARN Web页面

http://192.168.10.27:8088/
其中，192.168.10.27为服务器hadoop2的IP地址。
在这里,我发现8088端口未开启，然后执行jps发现resourcemanager未启动
然后手动将 resourcemanager进行开启

/usr/local/hadoop-3.2.2/sbin/yarn-daemon.sh start resourcemanager

6.日志查看

相关日志可以在/data/hadoop/logs进行查看