开启Hadoop/Yarn的日志监控功能,解决web端查看日志时的Java.lang.Exception:Unknown container问题

Devin01213

于 2019-10-31 00:06:13 发布

阅读量949

点赞数

本文链接：https://blog.youkuaiyun.com/ym01213/article/details/102829679

版权

本文介绍了如何开启Hadoop/Yarn的日志监控功能，以解决在web端查看日志时遇到的Java.lang.Exception:Unknown container问题。主要步骤包括编辑yarn-site.xml和mapred-site.xml配置文件，将修改后的配置同步到集群，然后重启Hdfs和Yarn服务，最后启动日志监控服务进程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

解放方法：
yarn的日志监控功能默认是处于关闭状态的，需要我们进行开启，开启步骤如下：

一、在yarn-site.xml文件中添加日志监控支持
该配置中添加下面的配置：

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

二、在mapred-site.xml文件中添加日志服务的配置
该配置文件中添加如下配置：

<property>
    <!-- 表示提交到hadoop中的任务采用yarn来运行，要是已经有该配置则无需重复配置 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
  <!--日志监控服务的地址，一般填写为namenode节点地址 -->
    <name>mapreduce.jobhistroy.address</name>
    <value>node1:10020</value>
</property>
<property>
    <name>mapreduce.jobhistroy.webapp.address</na