hadoop1.0中NameNode HA的妥协方案

本文介绍了如何通过 NFS 实现 Hadoop 1.0 的元数据备份来提供高可用性。尽管这种方法不能确保服务无间断运行,但它能有效防止数据丢失。同时,文章还讨论了引入 NFS 后可能遇到的问题及解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 hadoop1.0没有HA,可以添加NFS做为metadata存储备份,如果NN挂了,可以借助NFS上文件重新建立NN,这样虽然不能实现无间断服务,但可以保障集群数据不丢失。修改hdfs-site.xml配置如下:

 

<property>
  <name>dfs.name.dir</name>
  <value>/data/dfs/nn,/nfs/dfs/nn</value>
</property>


引入NFS后,会带来新问题:

  1. 如果NFS无法访问,NN无法启动
  2. 如果NFS中途故障,机器可以读取文件,但不能写入(写操作会挂住)

所以还需要使用nagios把NFS监控起来(官网搜索 check_nfs_mountpoint.sh)

 

--end

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值