Yarn集群配置

Yarn集群配置

hadoop是由hdfs、yarn和mapreduce组成，yarn负责调配内存和cpu,在此需要对yarn进行相关配置。

• 1、配置yarn-site.xml文件，用Xshell连接四台机器（master、slave1、slave2、slave3），Xshell有命令发送到所有窗口的功能（工具–>发送输入到所有会话），所以我们可以同时修改四台机器上的yarn-site.xml文件。
  输入命令 vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
  
  进入yarn-site.xml,写入

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master<value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle<value>
 </property>
 <property>
 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler<value>
 </property>
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle<value>
  </property>
<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler<value>
  </property>
   <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033<value>
   </property>
   <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032<value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031<value>
   </property>
<property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030<value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048<value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1<value>
   </property>

• 2、配置mapred-site.xml（四台机器同时配置），进入到/usr/local/hadoop/etc/hadoop目录下，开始是没有mapred-site.xml，但是有一个模板文件叫mapred-site.xml.template，我们执行命令将这个模板命名为mapred-site.xml，如下命令
  cp mapred-site.xml.template mapred-site.xml
  打开mapred-site.xml，进行配置
  vim mapred-site.xml
  输入如下配置

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

• 3、启动yarn集群，在master上输入命令start-yarn.sh,用jps命令查看启动情况（stop-yarn.sh 关闭集群）
  

• 4、可以通过浏览器进行查看
  输入网址 http://192.168.1.128:8088/