企业级Hadoop大数据平台实战（4）——搭建hdfs和yarn模块

AmourHai

于 2019-11-07 20:12:38 发布

阅读量423

点赞数

分类专栏： Linux运维进阶

本文链接：https://blog.youkuaiyun.com/qq_38548994/article/details/102908421

版权

本文介绍了企业级Hadoop大数据平台的HA集群搭建，重点讲解了如何设置Active和Standby NameNode以实现元数据同步，并通过JournalNodes确保故障恢复。在HA集群中，Active NN负责所有操作，而Standby NN作为备用，两者通过edits log保持状态一致。此外，Standby NN还需保存文件块位置以加速故障恢复。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

搭建环境

实验环境:RHEL7.5 selinux and iptables is disabled
Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件
软件版本:
hadoop-3.2.1.tar.gz jdk-8u181-linux-x64.tar.gz

#将server5和server9调成2G内存,并且是namenode
客户端：server6/7/8/

主机信息	作用
server5(172.25.8.5)	NameNode/ DFSZKFailoverController/ ResourceManager
server6(172.25.8.9)	NameNode/ DFSZKFailoverController / ResourceManager
server7(172.25.8.7)	JournalNode/ QuorumPeerMain/ DataNode/ NodeManager
server8(172.25.8.8)	JournalNode/ QuorumPeerMain/ DataNode/ NodeManager
server9(172.25.8.6)	JournalNode/ QuorumPeerMain/ DataNode/ NodeManager