IDEA中spark日志隐藏教程（如果大多数方法没用，请你来看这篇）

最新推荐文章于 2024-09-28 15:25:00 发布

童心撞地球

最新推荐文章于 2024-09-28 15:25:00 发布

阅读量499

点赞数 2

文章标签： intellij-idea ide spark 大数据

本文链接：https://blog.youkuaiyun.com/weixin_63855749/article/details/133556946

版权

本文介绍如何在IntelliJIDEA中通过修改log4j.properties文件来隐藏Spark程序的INFO日志，包括创建log4j.properties文件、设置日志级别和位置，确保SparkShell的日志输出仅显示ERROR及以上级别的消息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在idea中我们运行saprk程序时，会在Run窗口打印出很多INFO信息，很烦

我们想要隐藏这个日志输出，我也试过根据网上的方法绝大数不起效

接下来分享隐藏INFO日志的教程，希望对屏幕前的你起到帮助

这是输出的内容

要解决这个问题需要用到log4j文件

1、检查根目录下src/main下是否有resources资源文件夹

没有的话可以右击main，选择新建文件夹

可以看到下面是有一个Maven源目录的创建选项

然后再resources下创建名为log4j.properties的文件

创建好后输入以下内容

log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Set the default spark-shell log level to ERROR. When running the spark-shell, the
# log level for this class is used to overwrite the root logger's log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=ERROR

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=ERROR
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

如果重新运行后依然有日志输出

那么我们复制一份log4j.properties移动到（红色文件夹）当前对应的项目下，

重新运行等待，最终的结果就不会显示INFO日志内容了