Hadoop集群工作台查看日志报错问题及解决办法

最新推荐文章于 2025-05-07 09:13:01 发布

原创最新推荐文章于 2025-05-07 09:13:01 发布 · 5.7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop日志 #log #container

大数据专栏收录该内容

35 篇文章

订阅专栏

本文介绍如何在Hadoop集群中配置并启用日志监控功能，包括修改yarn-site.xml和mapred-site.xml文件的具体步骤，确保日志聚合正常工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们在hadoop集群一般需要在工作台查看日志，但是工作台查看日志一般会出现以下情况：

上面的原因是由于yarn的日志监控功能默认是处于关闭状态的，需要我们进行开启，开启步骤如下：

一、在yarn-site.xml文件中添加日志监控支持

该配置中添加下面的配置：

        <!-- 开启日志聚合 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
         <!-- 日志时长 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                 <value>640800</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://master:19888/jobhistory/logs/</value>
        </property>
        <!-- 日志聚合目录 -->
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/user/container/logs</value>
        </property> 
         <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>4096</value>
        </property>
         <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>5</value>
        </property>

二、在mapred-site.xml文件中添加日志服务的配置

该配置文件中添加如下配置：若是有了的话，无需再次添加

<property>
    <!-- 表示提交到hadoop中的任务采用yarn来运行，要是已经有该配置则无需重复配置 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
  <!--日志监控服务的地址，一般填写为nodenode机器地址 -->
    <name>mapreduce.jobhistroy.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistroy.webapp.address</name>
    <value>master:19888</value>
</property>