如何减少Apache Spark日志的数量

AlenTech

于 2024-06-06 18:38:23 发布

阅读量475

点赞数 1

CC 4.0 BY-SA版权

文章标签： spark 大数据分布式

本文链接：https://blog.youkuaiyun.com/Rickest_man/article/details/139507492

修改log4j配置文件，没有就创建：

内容：

# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果：