分布式7：Hadoop+zookeeper实现HA

最新推荐文章于 2020-10-27 17:22:15 发布

搬砖的乔布梭

最新推荐文章于 2020-10-27 17:22:15 发布

阅读量370

点赞数

CC 4.0 BY-SA版权

分类专栏：区块链开发完全攻略

本文链接：https://blog.youkuaiyun.com/u010986776/article/details/84141183

区块链开发完全攻略专栏收录该内容

88 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在集群环境中，通过Zookeeper实现Hadoop的高可用性（HA）配置。首先规划了5台CentOS服务器作为Zookeeper节点，并设置其中一台为主节点，其余为DataNode。接着详细描述了从修改主机名、搭建Zookeeper、配置Hadoop环境变量到启动各个服务的步骤，包括JournalNode、ZooKeeperFailoverController等。在完成所有步骤后，通过测试验证了HA的自动切换功能，当主节点NameNode关闭时，备节点能够成功接管，从而实现HA。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

集群规划
 zk01——zk05，5台centos
 zk01——zk05部署了5个zookeeper
 zk01为namenode节点
 zk05为namenode的HA节点
 zk02、zk03、zk04为datanode节点
搭建过程
 修改主机名，hosts
 搭建5台zookeeper，启动后5台机器都要zkServer.sh status查看状态，如果有启动没成功的节点，先解决这里的问题，再继续向下进行
 配置环境变量
 在主节点配置hadoop，其他和以前步骤一样，只有core-site.xml和hdfs-site.xml有变化，如下：
core-site.xml中，fs.defaultFS的值修改为hdfs://ns ns为自定义的名称，与hdfs.site.xml中对应

core-site.xml中，增加以下配置：

<property>    
    <name>dfs.nameservices</name>    
    <value>ns</value>    
</property>  
<!-- ns下面有两个NameNode，分别是nn1，nn2 -->
<property>
  <name>dfs.ha.namenodes.ns</name>
  <value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<propert