yarn集群的搭建

大数据中除了hadoop集群外，还有个yarn集群，这个集群用来处理各种计算任务需要分配的cup和内存。

1）首先配置yarn-site.xml文件

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>bigdata121</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

yarn进程有两个，一个是ResourceManager,一个是Node Manager
第一个property是配置哪个节点执行ResourceManager进程。
我们最好把Resource Manager进程和NameNode进程放在一个节点执行。

2）配置slaves文件

在这个文件里配置所有Node Manager进程的节点名称，也就是Data Node。

bigdata123
bigdata124
bigdata125

3）启动yarn集群
在sbin目录下找到start-yarn.sh执行。

4）检测是否启动成功
在主节点输入jps,如果有Resource Manager进程，在DataNode节点输入jps,有Node Manager进程，则启动成功。

5）web页面查看
yarn提供了web页面，查看任务执行情况
http://192.168.252.121:8088
这里输入对应的主节点ResourceManager进程的主机IP，端口号是8088.