HDFS完全分布式集群搭建与配置及常见问题总结（下）

最新推荐文章于 2023-03-09 10:45:50 发布

ha了个doop

最新推荐文章于 2023-03-09 10:45:50 发布

阅读量1.2k

点赞数 5

文章标签： hdfs 分布式 hadoop

本文链接：https://blog.youkuaiyun.com/zhaottttt/article/details/126876877

版权

本文详细介绍了如何启动HDFS完全分布式集群，包括格式化集群、启动DataNode和NameNode、验证集群状态及文件上传。此外，还总结了在搭建过程中可能遇到的防火墙、NameNode通信、JAVA_HOME找不到等问题及其解决方法，以及wordcount计算时的内存配置和yarn配置调整。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

启动集群：

注：第一次启动集群需要对整个集群进行格式化：

[root@node01 ~]# cd /opt/software/
[root@node01 software]# hdfs namenode -format

格式化后正式启动集群：在node01中输入start-dfs.sh脚本启动集群，在启动过程中出现are you sure you want to continue connecting (yes/no)?则输入yes回车后继续启动。

[root@node01 ~]# cd /opt/software/
[root@node01 software]# start-dfs.sh
Starting namenodes on [node01]
node01: namenode running as process 1517. Stop it first.
node03: datanode running as process 2445. Stop it first.
node02: datanode running as process 2435. Stop it first.
node01: datanode running as process 1624. Stop it first.
Starting secondary namenodes [0.0.0.0]
0.0.0.0: secondarynamenode running as process 1819. Stop it first.

在node01中启动了namenode节点，node01、node02、node03中启动datanode节点，并在node01中启动secondary namenode

启动后使用jps命令查看每个节点中的进程，在node01中有DataNode、NameNode、SecondaryNameNode三个与HDFS相关的进程；node02中有DataNode一个与HDFS相关的进程；node03中有DataNode一个与HDFS相关的进程；

[root@node01 software]# jps
2434 Jps
1624 DataNode
1819 SecondaryNameNode
1517 NameNode

[root@node02 ~]# jps
2435 DataNode
2614 Jps

[root@node03 ~]# jps
2626 Jps
2445 DataNode

只有当三个节点中的这些进程同时存在，则说明HDFS完全分布式搭建完成。

接下来去网页端验证，HDFS的默认web界面的端口号为50070，浏览器访问node01：50070查看集群运行情况可看到如下页面：

其中，’node01:9000’为HDFS的地址；

node01为主机名称；

9000为运行的端口号；

最低0.47元/天解锁文章