hadoop单namenode升级HA

最新推荐文章于 2024-06-26 11:29:44 发布

原创最新推荐文章于 2024-06-26 11:29:44 发布 · 734 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍了在腾讯云上进行Hadoop高可用（HA）部署的步骤，包括进入安全模式、配置支持HA的参数、启动JournalNode、初始化共享编辑日志、同步元数据、注册ZooKeeper等关键操作，确保原有数据读写完整。

1.hadoop先进入安全模式,合并edits并备份namenode元数据
hadoop dfsadmin -safemode enter
hadoop dfsadmin -saveNamespace
stop-dfs.sh

2.修改配置文件core-site.xml,hdfs-site.xml支持HA
3.启动sbin/hadoop-daemon.sh start journalnode
    hdfs namenode -initializeSharedEdits
4.单namenode启动
hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode
5.在另一个nameNode上执行
   hdfs namenode -bootstrapStandby 同步元数据
   执行stop-dfs.sh
6.注册ZK
hdfs zkfc -formatZK
7.启动hdfs
   ./start-dfs.sh
   #关闭安全模式
   hadoop dfsadmin -safemode leave

以上的步骤已经腾讯云上验证，原来的数据读写完整