hadoop1.0没有HA,可以添加NFS做为metadata存储备份,如果NN挂了,可以借助NFS上文件重新建立NN,这样虽然不能实现无间断服务,但可以保障集群数据不丢失。修改hdfs-site.xml配置如下:
<property>
<name>dfs.name.dir</name>
<value>/data/dfs/nn,/nfs/dfs/nn</value>
</property>
引入NFS后,会带来新问题:
- 如果NFS无法访问,NN无法启动
- 如果NFS中途故障,机器可以读取文件,但不能写入(写操作会挂住)
所以还需要使用nagios把NFS监控起来(官网搜索 check_nfs_mountpoint.sh)
--end
本文介绍了如何通过 NFS 实现 Hadoop 1.0 的元数据备份来提供高可用性。尽管这种方法不能确保服务无间断运行,但它能有效防止数据丢失。同时,文章还讨论了引入 NFS 后可能遇到的问题及解决方案。

被折叠的 条评论
为什么被折叠?



