hadoop yarn日志报错以及如何启动聚合日志

最新推荐文章于 2025-06-26 13:07:08 发布

PandaWuu

最新推荐文章于 2025-06-26 13:07:08 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： yarn hadoop 聚合日志

本文链接：https://blog.youkuaiyun.com/JohneyWu/article/details/81673955

本文档详细介绍了在Hadoop集群中解决YARN日志查看问题的步骤，包括在`yarn-site.xml`和`mapred-site.xml`配置文件中添加日志监控支持，将配置文件同步到集群节点，重启HDFS和YARN服务，以及启动日志监控服务进程，确保能够通过JobHistoryServer查看日志。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们在hadoop集群一般需要在工作台查看日志，但是工作台查看日志一般会出现以下情况：

上面的原因是由于yarn的日志监控功能默认是处于关闭状态的，需要我们进行开启，开启步骤如下：

一、在yarn-site.xml文件中添加日志监控支持

该配置中添加下面的配置：

        <!-- 开启日志聚合 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
         <!-- 日志时长 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                 <value>640800</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://master:19888/jobhistory/logs/</value>
        </property>
        &l