寻找Hadoop Job 提交类r的Log4j.properties

最新推荐文章于 2024-07-26 09:27:23 发布

原创最新推荐文章于 2024-07-26 09:27:23 发布 · 230 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop job log log4j

hadoop 专栏收录该内容

91 篇文章

订阅专栏

本文探讨了Hadoop Job提交过程中Driver内的Log4j配置问题，指出因多个log4j.properties文件导致的日志级别配置失效现象，并提供了解决方案。

名词说明：Hadoop Job 提交类，本文成为Driver

正文：

有时候我们需要在Driver里面写些逻辑代码，需要用到Log4j，但是当使用Hadoop jar xxxx.jar提交mapreduce的时候，发现Driver中的log并没有安装自己预期打印出来。通过打印classpath中log4j.properties文件路径，发现driver运行时，classpath中有多个log4j.properties文件，如下：

/etc/hadoop-0.20/conf.empty/log4j.properties
file:/usr/lib/hadoop-0.20/hadoop-core-0.20.2-cdh3u4.jar!/log4j.properties
/tmp/hadoop/hadoop/hadoop-unjar1904689375813052409/log4j.properties
file:/Application/adam/publish/CLA_Hadoop_publish.jar!/log4j.properties
/Application/adam/publish/conf/log4j.properties

而log4j只能加载第一个遇到的配置，所以我们mapreduce项目中的log4j.properties文件对于driver是不生效的。

很悲催，我们只能修改"/etc/hadoop-0.20/conf.empty/log4j.properties"也就是我们的hadoop程序conf下的log4j.properties文件来实现相关功能，所以大家使用的时候要小心点。我的一个配置样例如下：

log4j.logger.net.sf.json.JSONObject=ERROR
log4j.logger.org.apache.commons.httpclient.HttpMethodBase=ERROR

当然也可以通过程序代码SetLevel方法设置打印层级。

另外，附上寻找log4j.properties文件的方法：

Enumeration<URL> resources = this.getClass().getClassLoader().getResources("log4j.properties");
while (resources.hasMoreElements()) {
	URL url = (URL) resources.nextElement();
	System.out.println(url.getPath());
}

--heipark