0620-5.16.1-如何设置MR作业的Map或Reduce日志级别

最新推荐文章于 2024-01-04 19:32:28 发布

原创

最新推荐文章于 2024-01-04 19:32:28 发布 · 748 阅读

0 ·

CC 4.0 BY-SA版权

本文档介绍了如何在CDH5.16.1环境下，通过Cloudera Manager设置MapReduce作业的Map、Reduce和ApplicationMaster日志级别，以方便问题定位和减少日志量。详细步骤包括在Yarn配置界面添加mapred-site.xml配置项，支持的日志级别从OFF到TRACE，并提供了验证配置效果的方法。

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1文档编写目的

在Hadoop集群有大量的MapReduce作业，为了分析定位作业的问题需要考虑输出Map或Reduce的详细日志，通过作业的详细的日志更快速的定位问题并解决，同样也可以通过配置日志输出级别而减少日志量。本篇文章Fayson主要介绍如何通过Cloudera Manager配置MapReduce作业的Map、Reduce、ApplicationMaster的日志级别。

测试环境

1.RedHat7.3
2.CDH5.16.1

2 配置MapReduce作业日志级别

1.登录Cloudera Manager并进入Yarn的配置界面，在Gateway范围搜索“mapred-site”
在这里插入图片描述
2.在mapred-site.xml配置项增加如下配置

<property>
    <name>mapreduce.reduce.log.level</name>
    <value>DEBUG</value>
</property>
<property>
    <name>mapreduce.map.log.level</name>
    <value>DEBUG</value>
</property>
<property>
    <name