分布式7:Hadoop+zookeeper实现HA

本文介绍了在集群环境中,通过Zookeeper实现Hadoop的高可用性(HA)配置。首先规划了5台CentOS服务器作为Zookeeper节点,并设置其中一台为主节点,其余为DataNode。接着详细描述了从修改主机名、搭建Zookeeper、配置Hadoop环境变量到启动各个服务的步骤,包括JournalNode、ZooKeeperFailoverController等。在完成所有步骤后,通过测试验证了HA的自动切换功能,当主节点NameNode关闭时,备节点能够成功接管,从而实现HA。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 集群规划
     zk01——zk05,5台centos
     zk01——zk05部署了5个zookeeper
     zk01为namenode节点
     zk05为namenode的HA节点
     zk02、zk03、zk04为datanode节点
  2. 搭建过程
     修改主机名,hosts
     搭建5台zookeeper,启动后5台机器都要zkServer.sh status查看状态,如果有启动没成功的节点,先解决这里的问题,再继续向下进行
     配置环境变量
     在主节点配置hadoop,其他和以前步骤一样,只有core-site.xml和hdfs-site.xml有变化,如下:
    core-site.xml中,fs.defaultFS的值修改为hdfs://ns ns为自定义的名称,与hdfs.site.xml中对应

core-site.xml中,增加以下配置:

<property>    
    <name>dfs.nameservices</name>    
    <value>ns</value>    
</property>  
<!-- ns下面有两个NameNode,分别是nn1,nn2 -->
<property>
  <name>dfs.ha.namenodes.ns</name>
  <value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<propert
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

搬砖的乔布梭

你好我是秦始皇转世,资助请从速

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值