解决spark运行时控制台打印冗杂的INFO（屏蔽掉无用的INFO）

最新推荐文章于 2024-03-23 13:47:29 发布
原创 最新推荐文章于 2024-03-23 13:47:29 发布 · 4.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#SparkSql

在使用Spark和Hive整合后启动SparkSql时，控制台打印出大量冗余信息，影响阅读体验。本文介绍如何通过修改log4j.properties文件来减少SparkSql的日志输出，使控制台信息更加清晰。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天在spark和hive整合完后启动SparkSql的时候控制台打印出了好多冗余的信息看起来特别不爽

就一个 show databases； 却打印出来这么多信息，让我着实不大容易找到我想要的信息呀

解决方案：1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties

修改成功后打印 show databases;

 

是不是清爽了好多

如何在Spark-shell中停止打印INFO日志
Lestat.Z.的博客
04-02 3046
文章目录前言解决方法- 使用自定义的Log4j.properties- 在代码中控制 前言 在使用Spark-shell做一些测试时候会产生大量无用的INFO级别的日志，因此想把它们给禁用掉。具体方法如下。 解决方法 - 使用自定义的Log4j.properties log4j.rootLogger=ERROR, console # set the log level for these com...
1_Java基础概述
Art_Dillon
01-18 748
Java基础是学习JavaEE、大数据、Android开发 的基石！
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO）
ZMC2822846684的博客
09-16 1316
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO），scala应该也是一样的吧（没试过）
[转]Spark如何设置不打印INFO日志
Buevara的博客
07-23 6892
方法1：在配置文件中修改 cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties ## 如果没有，则 cp log4j.properties.template log4j.properties vi log4j.properties ##然后，修改下面的这一个行： log4j.rootCategory=INFO, console ##改成： log4j.rootCategory=WARN, console 或者(按个人需求) log4j.rootCateg
如何屏蔽掉Spark程序中INFO信息--------特好用！！！！！！！
liangsir
01-18 5714
把spark安装包里的conf文件夹里的log4j.properties.templat拷贝到项目scr主目录main下的resources里面 然后把log4j.properties.templat 改名为log4j.properties 最后修改里面的内容： 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERR...
【Spark】【设置】关闭INFO提示
萌狼蓝天の技术栈
10-29 1496
目的：关闭INFO提示 方法：通过修改配置文件实现 操作文件：Hadoop/conf/log4j.properties.template 操作1：复制模板文件使用 cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties 操作2：修改配置文件 将配置文件中的 log4j.rootCategor...
【JavaSE 知识框架】01 Java语言概述
woailuo8214的博客
11-06 460
【Java语言概述】 ｛软件开发介绍｝｛计算机编程语言介绍｝ ｛Java语言基础｝｛Java语言的运行机制和运行过程｝｛Java语言的环境搭建｝｛Java程序中的注释方式｝ ｛Java API文档｝｛Java的编程风格｝ ｛常用的Java开发工具｝
02尚硅谷宋红康Java视频笔记之语言概述
yanwuxie_的博客
11-06 2644
Java基础是学习JavaEE、大数据、Android开发 的基石! I Java基础知识图解 Java基础课程体系 1.1 软件开发介绍 软件开发 软件，即一系列按照特定顺序组织的计算机数据和指令的集合。有系统软件和应用软件之分。 人机交互方式 >图形化界面(Graphical User Interface GUl)这种方式简单直观，使用者易于接受，容易上手操作。 >命令行方式(Command Line Interface CLI):需要有一个控制台，输入特定的指令，让计算机完成
Java基础----Java编程语言概述
Hebert
04-05 4205
Java基础----Java编程语言概述 文章目录Java基础----Java编程语言概述Java编程语言概述1-1 软件开发介绍1.1软件开发介绍1.2 常用命令1-2 计算机编程语言介绍1.从java语言的市场需求来看1-3 Java语言概述1.3.1 概述1.3.2 Java简史1.3.3 Java技术体系平台1.3.4 Java在各领域的应用1.3.5 Java语言的诞生1.3.6 主要特...
SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成
weixin_66005343的博客
03-25 3581
SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成
去掉spark中打印的INFO信息
amazing_Code的博客
04-08 1574
将spark安装包中一个文件复制到项目的main/resources目录下 ，将名称改为log4j.properties 如下所示： 打开该文件，将第一行中的INFO改为ERROR 以后运行spark程序将不会有info信息打印了 ...
idea写spark程序时过滤掉INFO信息
qq_42400267的博客
12-17 970
编写spark程序时，INFO信息导致过多 导致输出非常不好找，因此给他过滤掉 方法一： 在代码中加入 val spark = SparkSession.builder().appName("xx").master("local").getOrCreate() val sc = spark.sparkContext sc.setLogLevel("ERROR")//log中只会出现error级别的...
Spark测试代码时，去掉无用的日志
weixin_38051945的博客
03-31 766
废话不多说 import org.apache.log4j.{Level, Logger} import org.apache.spark.internal.Logging object SomeTest extends App with Logging { Logger.getRootLogger.setLevel(Level.WARN) } 继承Logging 这样打印的就是我...
笔记--Spark中运行INFO怎么去掉？
ohMyGodSun的博客
10-17 721
在spark的安装目录下的conf目录里，把log4j文件copy到项目的src文件夹下面。 把后缀template去掉 log4j.rootCategory=INFO, console 改为 log4j.rootCategory=ERROR, console
Spark通过修改日志文件信息显示级别来避免其他信息的干扰
哇咔咔哇咔的博客
03-23 729
Spark修改日志信息级别
将SPARK启动和运行时的一些INFO信息过滤掉
sunzz679的专栏
11-23 7111
我们在每次启动和运行SPARK时，会出现大量的INFO信息，一些WARN和ERROR信息隐藏在其中，这可能会被我们忽略掉，同时对阅读造成了很多不便，所有可以将这些不太重要的信息过滤掉。方法是： 1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties，可以使用下面的语句完成： $ cp log4j.pr
修改spark日志配置
光与热的博客
08-16 1706
在测试Spark计算时，将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是imposible的，因为作业是提交到yarn的集群上，so 去yarn集群上看日志是很麻烦的，但有特别想看下print的信息，方便调试或者别的目的 在Spark的conf目录下，把log4j.properties.template修改为log4j.properties，原来的
Spark设置日志打印级别
Wolves_howl的博客
08-25 1541
spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。Spark-core包设置默认的日志级别为info。此时，在控制台调试spark程序就没有了INFO信息。一、修改Spark-core包默认的日志级别。
log4j文件
FreedomZzzzz的博客
11-21 445
在resources中 log4j.properties # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for addition...
idea 中运行spark 控制台日志信息太多，如何配置减少打印在日志台上
最新发布
03-20
<think>好的，我现在要解决的问题是用户询问如何在IntelliJ IDEA中配置Spark以减少控制台日志输出。首先，我需要回忆一下Spark和日志相关的配置知识。记得Spark使用Log4j来管理日志，所以调整日志级别应该和Log4j的配置文件有关。 接下来，我需要考虑在IntelliJ IDEA中运行Spark应用时，如何加载Log4j的配置文件。通常，用户可能需要在项目的资源目录下放置log4j.properties文件，这样Spark会自动读取这个配置。但有时候如果配置不正确，或者有其他依赖的库覆盖了日志设置，可能会导致日志级别没有生效。这时候可能需要检查配置文件的位置是否正确，比如是否放在src/main/resources目录下。 另外，用户可能直接在代码中设置日志级别，例如通过sparkContext.setLogLevel("WARN")，这种方法是否有效呢？记得SparkContext确实提供了这个方法，但可能只控制Spark自身的日志，不影响其他库的日志输出。这时候可能需要结合配置文件一起调整。 然后，用户提到的是在IntelliJ IDEA中配置，所以还需要考虑运行配置是否有参数需要添加。例如，是否需要在VM options里指定-Dlog4j.configuration=file:path/to/log4j.properties，这样明确指定配置文件的位置。 还要注意，不同的Spark版本可能使用不同的Log4j版本，比如Spark 2.x使用Log4j 1.x，而Spark 3.x可能升级到Log4j 2.x，这时候配置文件的格式可能有所不同，需要用户根据版本调整配置内容。 另外，用户可能希望减少的是控制台的日志输出，所以需要确保在log4j.properties中正确配置了控制台Appender的阈值，比如将log4j.appender.console.threshold设置为WARN或ERROR级别。 最后，可能需要指导用户测试配置是否生效，例如运行应用后观察控制台输出是否减少，或者是否有错误提示，帮助用户排查问题，比如文件路径是否正确，配置语法是否正确等。</think>在IntelliJ IDEA中配置Spark控制台日志输出级别可通过以下四个步骤实现： ### 一、添加log4j.properties配置文件 1. 在项目`src/main/resources`目录下新建`log4j.properties`文件 2. 写入以下配置内容： ```properties # 设置根日志级别为WARN log4j.rootCategory=WARN, console # 控制台输出配置 log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # 单独设置Spark核心模块日志级别 log4j.logger.org.apache.spark=WARN log4j.logger.org.eclipse.jetty=WARN ``` 该配置将全局日志级别设为WARN，并单独指定Spark核心模块的日志级别[^3] ### 二、代码中动态设置日志级别 ```scala val conf = new SparkConf().setAppName("MyApp") val sc = new SparkContext(conf) sc.setLogLevel("WARN") // 设置SparkContext日志级别 ``` ### 三、IDEA运行配置调整 1. 打开Run/Debug Configurations 2. 在VM options中添加： ``` -Dlog4j.configuration=file:src/main/resources/log4j.properties ``` 确保路径与项目结构匹配[^4] ### 四、验证配置 运行Spark作业后，控制台应仅显示WARN及以上级别的日志。可通过以下命令测试： ```scala sc.parallelize(1 to 10).foreach(println) // 正常操作应不产生INFO日志 ``` **注意事项**： 1. Spark 3.0+使用log4j2，需使用`log4j2.properties`配置文件 2. 集群部署时需确保所有节点都有相同配置文件 3. 可单独调整特定包日志级别，如： ```properties log4j.logger.org.apache.spark.sql.execution=ERROR ```
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值