HistoryServer 进程运行日志无限增长问题解决

最新推荐文章于 2024-12-06 14:42:48 发布

原创最新推荐文章于 2024-12-06 14:42:48 发布 · 471 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何通过修改Spark的log4j.properties文件，实现对HistoryServer日志的滚动输出和大小控制，防止日志文件无限增长导致磁盘空间耗尽。

Spark-HistoryServer在运行过程中会打印自身进程的日志，这里是指打印在${SPARK_HOME}/logs目录下，名称为spark-spark-org.apache.spark.deploy.history.HistoryServer-1-node.hostname.out的日志，非eventLog。这个日志在Spark层面没有做相应的控制，也没有相应的参数做调优。这种情况下该日志文件会无限增长，最终将磁盘打满。前面我分享过一篇关于Driver/Executor日志控制的文章（在这里），这篇算是姊妹篇吧。

明确问题后，解决的思路就是更改其日志输出策略，修改${SPARK_HOME}/conf下面的log4j.properties策略。我这边这个文件只做HistoryServer的日志控制，所以可以做一下简单的修改：

log4j.rootLogger=info,historyserver log4j.appender.historyserver=org.apache.log4j.RollingFileAppender log4j.appender.historyserver.layout=org.apache.log4j.PatternLayout log4j.appender.historyserver.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n log4j.appender.historyserver.Threshold=INFO log4j.appender.historyserver.ImmediateFlush=TRUE log4j.appender.historyserver.Append=TRUE log4j.appender.historyserver.File=${SPARK_HOME}/logs/historyserver.log log4j.appender.historyserver.MaxFileSize=1GB log4j.appender.historyserver.MaxBackupIndex=2 log4j.appender.historyserver.Encoding=UTF-8

这样日志就能滚动输出循环删除了，最多保留2个，每个1G大小

如果上面的log4j.properties还有其他策略需要配置，那就需要吧HistoryServer中相应的进程类做日志路由了，即指定类名的日志输出，比如：
log4j.logger.org.apache.spark.deploy.history.HistoryServer=info,historyserver