HDFS完全分布式集群搭建与配置及常见问题总结（上）

本文链接：https://blog.youkuaiyun.com/zhaottttt/article/details/126870868

本文详细介绍了在Linux环境下，如何搭建Hadoop 2.9.2的完全分布式集群，包括前期准备工作，如设置主机名、检查SSH免密登录和Java环境，以及配置HADOOP_HOME环境变量，配置HDFS、YARN、MapReduce相关配置文件，最后实现配置信息的同步。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前期准备工作：

1、打开虚拟机，连接xshell

测试是否可以成功连接外网

例如：ping www.baidu.com

2、主机名的配置

使用cat /etc/hostname命令分别查看主机名称：

[root@node01 ~]# cat /etc/hostname 
node01

[root@node02 ~]# cat /etc/hostname 
node02

[root@node03 ~]# cat /etc/hostname 
node03

3、检查主机域名

使用cat /etc/hosts命令分别检查三台虚拟机

[root@node02 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.67.110 node01 node01.hadoop.com
192.168.67.120 node02 node02.hadoop.com
192.168.67.130 node03 node03.hadoop.com

对应为IP地址、主机名称（hostname）、Hadoop映射地址

注：无论Linux系统还是window系统，主机域名都在此文件中设置

4、使用systemctl status firewalld命令分别查看三台虚拟机的防火墙状态

[root@node01 ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

小圆点为灰色并显示dynamic firewall deamon则防火墙为关闭状态

5、检查ssh免密登录

利用ssh命令可以进入任意一个节点上即为成功

[root@node01 ~]# ssh node02
Last login: Thu Sep 15 09:34:35 2022 from 192.168.67.1
[root@node02 ~]# ssh node01
Last login: Thu Sep 15 09:34:34 2022 from 192.168.67.1
[root@node01 ~]# ssh node03
Last login: Thu Sep 15 09:34:38 2022 from 192.168.67.1
[root@node03 ~]# ssh node01
Last login: Thu Sep 15 10:04:11 2022 from node02
[root@node01 ~]#

6、使用 java -version命令分别检查三台虚拟机的Java环境

[root@node01 ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

检查完成后正式进入HDFS完全分布式环境配置

创建安装目录：

进入opt:cd /opt

创建software文件夹：mkdir software

进入software文件夹：cd software/

创建hadoop文件夹：mkdir hadoop

进入hadoop文件夹：cd hadoop/

创建hdfs文件夹：mkdir hdfs

进入hdfs文件夹：cd hdfs/

创建data、