hadoop-2.2.0追加日志记录

最新推荐文章于 2021-08-09 08:18:48 发布

原创最新推荐文章于 2021-08-09 08:18:48 发布 · 420 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍如何在Apache Hadoop YARN的公平调度器中配置延迟日志记录，通过修改源代码添加特定的日志输出，并设置log4j属性来记录调度延迟情况。

package org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

public class DelayLog {
	public static final Log LOG_Delay = LogFactory.getLog(DelayLog.class);

}

在需要的地方增加一句:

            DelayLog.LOG_Delay.info(" requests.size()" + requests.size() + " Probability: " + prob) ;

最后，在log4j.properties文件中,增加:

#Delay Test
log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.DelayLog=INFO,delayLogger
log4j.appender.delayLogger=org.apache.log4j.FileAppender
log4j.appender.delayLogger.File=${hadoop.log.dir}/Delay.log
log4j.appender.delayLogger.layout=org.apache.log4j.PatternLayout
log4j.appender.delayLogger.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.additivity.delayContainersLogger=false