Hadoop 之 yarn

Yarn 在hadoop中主要负责任务调度:

     1. 运行多个appication 程序，

      2. 为application 运行分配资源。

yarn有两种服务:

      1. ResourceManager

      2. NodeManager

       ResourceManager主要任务: 

               1. 接受客户端的任务

               2. 启动和监控ApplicatoinMaster

               3.资源分配（container）于调度

                4. 监控NodeManager

    NodeManager:

            1. 单节点管理

             2. 接受ResourceManager和NodeManager的命令

   ApplicationMaster:

              1. 向ResourceManager申请application的资源

              2. 监控和管理nodeManager的任务运行情况.

YARN HA配置（yarn-site.xml）:

       打开HA配置:

<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>

     配置yarn HA 名称空间:

<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>rs</value>
</property>

  配置resourcemanager的名称空间:

     

<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>

 配置名称空间rm1对应的主机:

    

<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>master</value>
</property>

 配置名称空间rm2对应的主机:

     

<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>slave1</value>
</property>

   配置zookeeper:

<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>master:2181,slave1:2181,slave2:2181</value>
</property>

 

 配置故障恢复，从zookeeper恢复:

<property>
	<name>yarn.resourcemanager.recovery.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.store.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

以上只是罗列部分配置，它还有 很多其它的配置

参考配置:  https://github.com/wujianqiangwjq/hadoop_cluster_configuration/blob/master/hadoop