Hadoop HA 详细配置及注意事项

天涯问路

于 2020-08-19 10:50:14 发布

阅读量541

点赞数 1

分类专栏： Hadoop 大数据文章标签： hadoop hadoop HA

本文链接：https://blog.youkuaiyun.com/S_Alics/article/details/108092171

版权

本文详细介绍了Hadoop高可用(HA)的配置步骤，包括文件配置、集群启动以及注意事项。在配置过程中，强调了Zookeeper集群的启动、HDFS服务的启动、NameNode的格式化和状态切换。特别指出，必须先启动Quorum Journal Manager(QJM)集群，并在nn2上同步nn1的元数据，以确保HA的正确运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、文件配置(配置顺序并无先后)

1.配置hadoop-env.sh

打开hadoop.env.sh：vim hadoop/etc/hadoop/hadoop/env.sh
修改：export JAVA_HOME=/你的路径/jdk1.8.0_144，根据自己安装的jdk版本及路径配置

2.配置core-site.xml。注意：第二项路径要改为自己的真实目录

<configuration>
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
	</property>

	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
	</property>

    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104

最低0.47元/天解锁文章