大数据技术之Hadoop（YARN的搭建）与SHELL脚本（集群分发脚本xsync）

---

大数据技术之Hadoop（YARN的搭建）与SHELL脚本（集群分发脚本xsync）

---

1.YARN的搭建

1.1集群部署规划
1.2配置YARN
1.在配置的hadoop集群中选择hadoop112：进入hadoop目录

       cd /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/

2.配置文件yarn-env.sh

       vim yarn-env.sh

       export JAVA_HOME=/usr/local/java/jdk1.8.0_211

3.配置文件yarn-site.xml（注意resourcemanager的选择）

       vim yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop112</value>
</property>

4.将配置文件发送给另外两台
4.1下载rsync：yum -y install rsync
4.2进行发送：

      cd /usr/local/hadoop/hadoop-2.9.2/etc
      rsync -rvl hadoop/ hadoop111:/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/
      rsync -rvl hadoop/ hadoop113:/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/

5.启动YARN

      start-yarn.sh