配置RS的高可用

最新推荐文章于 2024-08-14 12:36:47 发布

原创最新推荐文章于 2024-08-14 12:36:47 发布 · 516 阅读

0 ·

CC 4.0 BY-SA版权

大数据入门专栏收录该内容

25 篇文章

订阅专栏

本文详细介绍如何配置YARN的高可用性，包括修改yarn-site.xml以启用资源管理器的高可用设置，分发配置文件，更新masters文件，修改start-yarn.sh脚本，并配置HBase的高可用性。

0、stop-yarn.sh ====== 关闭yarn集群

1、nano /soft/hadoop/etc/hadoop/yarn-site.xml，添加以下内容：

<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster1</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>s101</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>s105</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>s101:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>s105:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>s102:2181,s103:2181,s104:2181</value>
</property>

2、xsync.sh /soft/hadoop/etc/hadoop/yarn-site.xml ====== 分发配置文件

3、nano /soft/hadoop/etc/hadoop/masters，添加以下内容：

s101
s105

4、nano /soft/hadoop/sbin/start-yarn.sh，修改文件内容

"$bin"/yarn-daemons.sh --config $YARN_CONF_DIR --hosts masters start resourcemanager
"$bin"/yarn-daemons.sh --config $YARN_CONF_DIR --hosts masters stop resourcemanager

5、start-yarn.sh ====== 启动yarn

6、nano /soft/hbase/conf/backup-masters，配置hbase高可用，添加以下内容：