Log4j文件日志性能瓶颈

服务器上的日志大多会输出到本机文件，我对log4j的文件输出性能做了个测试，查找它的的性能瓶颈。所有的测试都是在我的PC(Intel 3Ghz*2)上做的。

首先拿log4j输出日志到文件，与直接用流输出文本到文件做对比的性能测试：

log4j FileAppender     8w tps

OutputStreamWriter   70w tps

bufferedWriter            90w tps

QuietWriter                 87w tps

log4j的FileAppender比IO直接输出性能有一个数量级的差距，而FileAppender内部其实是用的是QuietWriter。

我继承了WriterAppender覆盖相关方法用自己的FileAppender查找性能瓶颈。测试发现WriterAppender的subAppend是输出的方法：

 protected void subAppend(LoggingEvent event) {
  this.qw.write(this.layout.format(event));

  if (layout.ignoresThrowable()) {
   String[] s = event.getThrowableStrRep();
   if (s != null) {
    int len = s.length;
    for (int i = 0; i < len; i++) {
     this.qw.write(s[i]);
     this.qw.write(Layout.LINE_SEP);
    }
   }
  }

  if (this.immediateFlush) {
   this.qw.flush();
  }
 }

 

而影响输出性能的关键代码是：

this.layout.format(event);

this.qw.flush();

也就是说性能瓶颈在日志的格式化，和每次日志的flush。
immediateFlush配置改成false，格式化配置改为SimpleLayout，bufferedIO设置为true后，FileAppender的tps提升到40W。

log4j有些synchronized同步，在高并发下性能影响也很大，可以用异步单线程Appender来解决这种问题。