Hadoop 3.2.1Yarn虚拟机集群安装配置

Hadoop 3.2.1Yarn虚拟机集群安装配置

主要配置2个文件

1.yarn-site.xml

这个文件位置在hadoop安装目录的etc下，我的目录如下/opt/apps/hadoop-3.2.1/etc/hadoop

<!--  resource,manager主节点所在机器 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>doit01</value>
</property>

<!--  为mr程序提供shuffle服务 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!--  一台NodeManager的总可用内存资源 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<!--  一台NodeManager的总可用（逻辑）cpu核数 -->
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>

<!--  是否检查容器的虚拟内存使用超标情况 -->
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

<!--  容器的虚拟内存使用上限：与物理内存的比率 --> 
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>

2.start-yarn.sh和stop-yarn.sh

在hadoop安装目录的sbin目录下


使用vi命令打开，vi start-yarn.sh

vi stop-yarn.sh

都配置完成后，就可以使用sbin下的这2个启动和停止脚本进行yarn的启动和停止

3.同时启动hdfs和yarn

sbin下有start-all.sh和stop-all.sh脚本，这2个脚本其实默认就会分别调用start-dfs.sh和start-yarn.sh以及stop-dfs.sh和stop-yarn.sh。

4.查看yarn的web页面

在windows浏览器中，输入http://yarn主节点ip地址:8088,效果如下