03_HADOOP_05_MR高可用搭建

最新推荐文章于 2024-06-12 16:53:37 发布

(=￣ ρ￣=) ..zzZZ

最新推荐文章于 2024-06-12 16:53:37 发布

阅读量161

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_42486134/article/details/103035308

版权

MR架构图

单个MR具体细节

计算示例

MR-1.X版本

MR-1.X版本优缺点

MR-2.X版本

MR-2.X版本优缺点

环境规划

node03和node04实现相互之间免秘钥

在node01修改mapred-site.xml和yarn-site.xml,然后分发到其他机器

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<!-- Site specific YARN configuration properties -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>zhhcluster</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>node03</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>node04</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>node03:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>node04:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>node02:2181,node03:2181,node04:2181</value>
</property>