JAVA代码如何设置SPARK的日志打印级别

最新推荐文章于 2024-03-22 16:00:57 发布
最新推荐文章于 2024-03-22 16:00:57 发布
阅读量3k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 程序人生 文章标签： 日志级别 sparkSql 打印太多导致慢 sql spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wumiqing1/article/details/78842929

问题场景：在使用spark sql 增加where条件过滤时，会出现打印很多的被过滤掉的记录（几十万条），导致跑spark sql 特别慢！

var df2 = sqc.sql("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " )


执行时，打印截图：


解决方法：

设置spark 的日志级别，不打印过滤INFO信息


1)代码中使用呢代理设置：关键参考代码如下


import org.apache.log4j.Level

import org.apache.log4j.Level

Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
Logger.getLogger("org.apache.hadoop").setLevel(Level.ERROR)
Logger.getLogger("org.apache.zookeeper").setLevel(Level.ERROR)


代码截图：







spark java 日志打印,Spark local模式自定义日志输出
weixin_42134168的博客
03-11 1410
Spark每个任务输出一次日志文件版本信息:spark-2.4.3hadoop-2.6.4前些天在解决spark local模式的日志输出问题，需要每次执行一次spark作业就把该次作业的日志输出到一个日志文件中，这里记录下，分享下实现过程以及踩的坑;先自定义一个FileAppender,如下:package com.demo.util;import org.apache.log4j.FileAp...
升级 spark 2.3问题：Spark Streaming日志级别设置，最小堆内存设置
T_Janey
12-03 1516
一、内存问题     1、旧集群             spark 1.6.1             jdk 1.7 或 1.8             jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等）     2、新集群             spark 2.3.             jdk 1.8             jvm 堆内存分...
spark代码中添加logger_JAVA代码如何设置SPARK的日志打印级别
weixin_39998521的博客
12-23 492
问题场景：在使用spark sql 增加where条件过滤时，会出现打印很多的被过滤掉的记录(几十万条)，导致跑spark sql 特别慢！var df2 = sqc.sql("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " )执行时，打印截图：解决方法：设...
spark java 日志打印,通过记录器的Java Spark应用程序日志未显示在EMR日志中
weixin_39765695的博客
03-11 329
我有一个在EMR上运行的Spice Java应用程序。当我试图运行SCAPLE作业本地登录到EMR EC2实例时,我从控制台上的Java应用程序获取日志记录信息。/usr/lib/spark/bin/spark-submit --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.par...
设置Spark程序设置日志打印级别
再难也要坚持的博客
03-12 960
在maven项目中设置Spark程序的日志打印级别： 引入logger4j和slf4j的依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dep...
Spark on Yarn 自定义日志打印及级别
T_Janey
09-16 3216
Spark on Yarn自定义日志输出及级别spark 自定义日志打印及级别日志打印定义 spark 自定义日志打印及级别 在处理spark任务的时候，我们需要经常查看日志，那么日志的级别对我们来说就很重要。但有时候，我们还需要输出一些业务日志，那它就会被spark的大量日志给覆盖掉，但调日志级别，又会使查找问题变的比较困难，今天，我们来解决下这个问题。 日志打印定义 我们首先需要日志配置文件，并在任务提交的脚本中设置成我们自定义的日志文件。这里将分别对两种日志进行配置对比，分别是java自带日志和spa
修改Spark-shell日志打印级别并使用Spark-shell和Spark-submit提交Sparkstream程序
zhaoguowei的博客
11-20 1802
1. 修改Spark-shell日志打印级别 如果觉得 shell 中输出的日志信息过多而使人分心，可以调整日志的级别来控制输出的信息量。你需要在 conf 目录下创建一个名为 log4j.properties 的文件来管理日志设置。Spark开发者们已经在 Spark 中加入了一个日志设置文件的模版，叫作 log4j.properties.template。 要让日志看起来不那么啰嗦，可以先把这...
spark编程09——设置spark-submit提交程序时不在控制台打印日志信息+nohup 命令
SYITwin的博客
04-08 3968
在用spark-submit提交程序时，会打印很多类似图片所示的日志信息，它们会把想要的结果给淹没，所以要想法去除控制台的日志信息。 解决办法：程序中设置日志级别，然后将运行结果保存在nohup.out文件中 //程序中导入 import org.apache.log4j.{Level, Logger} //下面两行代码放在main函数里 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogge..
JAVA代码实现Spark Streaming程序
weixin_45501104的博客
11-12 850
创建 maven 工程 只加 spark-streaming 这个包就可以 4.0.0 com.spark sparkStream 0.0.1-SNAPSHOT junit junit 3.8.1 test <dependency> ...
spark 写代码的三种方式、spark 整合 Hive
赤兔胭脂小吕布的博客
03-12 612
目录spark 写代码的方式1、在IDEA中将代码编写好然后打包上传到集群中运行(使用最多)2、spark shell(REPL -- 交互式的命令行)3、spark-sql(spark的SQL命令行)在进入 spark-sql 的过程中会输出很多日志，那么如何取消这些日志呢？spark 整合 Hivespark 写代码的方式 1、在IDEA中将代码编写好然后打包上传到集群中运行(使用最多) ...
动态修改日志级别
06-07
动态修改日志级别
[Spark--编码]--如何设置日志的打印级别
感谢你的关注~~~~ღ( ´･ᴗ･` )
10-21 1540
以下三种方式可以选择有一种，但就经测试，最靠谱的方式是第三种结合第一种使用。 1、通过配置文件 #log4j.rootLogger=WARN,console log4j.rootLogger=DEBUG, stdout # console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.consol...
Spark作业执行过程中日志重复打印的问题
qq_38174815的博客
03-22 317
Spark转换操作中的日志重复
Spark - Logging 简单使用
BITDDD小栈
06-06 1769
使用 Spark 运行任务打日志经常遇到一个问题就是日志太多，除了自己的 print 日志之外，还有很多 Executor、client 的日志，一方面任务运行期间会占用更多的机器存储，其次也不方便查询自己的 print 日志。下面介绍下常用的日志系统与使用方法。......
Python+Scala+Java三种SparkContext初始化代码
微电子学与固体电子学-俞驰
08-14 1174
-------------------------------------------------Python--------------------------------------------------- from pyspark import SparkContext from pyspark import SparkConf from pyspark.sql import SparkSession from pyspark import SparkConf, SparkContext im
Spark Streaming连接kafka消费多个topic只消费其中一个topic一个分区的问题
mrye的博客
05-27 1195
代码： import org.apache.kafka.common.serialization.StringDeserializer import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SparkSession import org.apache.spark.streaming.kafka010._ import org.apache.spark.streaming.{Seconds, StreamingContext
pyspark log4j
weixin_44772715的博客
06-06 777
https://stackoverflow.com/questions/25407550/how-do-i-log-from-my-python-spark-script log_util.py #!/usr/bin/python # coding=utf-8 import socket def main(): print("hello ....") tags = dict(...
调整spark-sql控制台日志输出级别
jiezou12138的博客
03-28 5276
问题： 每次spark-sql操作都会打印大量的INFO信息，这样我们查看结果就会很麻烦， 解决： 调整Spark日志级别的配置文件是在$SPARK_HOME/conf/目录下的log4j.properties.template，默认级别是INFO 将log4j.properties.template复制一份 cp log4j.properties.template log4j.pro...
Spark log4j 日志配置详解
热门推荐
ZMC921的博客
05-08 1万+
一、spark job日志介绍    spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。    在Spark的conf目录下，把log4j.properties.template...
IDEA关闭INFO日志打印
最新发布
06-12
<think>我们正在处理的问题：如何在IntelliJIDEA中配置日志级别以关闭INFO日志输出。参考了上述引用，特别是引用[4]和引用[5]，其中提到：-修改log4j.properties文件，将rootCategory从INFO改为ERROR或WARN，从而只显示更高级别的日志（如ERROR或WARN）。-具体操作：找到log4j.properties文件（或者修改模板文件并重命名），将`log4j.rootCategory=INFO,console`改为`log4j.rootCategory=ERROR,console`或`log4j.rootCategory=WARN,console`。另外，引用[1]提供了日志级别的定义：从严重到普通依次是：OFF,FATAL,ERROR,WARN,INFO,DEBUG,TRACE,ALL。我们想要关闭INFO级别，那么至少应该设置成比INFO更高的级别，例如WARN、ERROR、FATAL或OFF。根据引用[2]和[3]，我们知道不同的日志实现（如Log4j、Logback等）配置方式可能不同。在IDEA中运行的程序，可能使用了不同的日志框架，但引用[4][5]都提到了修改log4j.properties文件，因此我们假设使用Log4j作为日志实现。步骤：1.在项目中找到log4j配置文件（通常名为log4j.properties或log4j.xml）。2.修改日志级别：将rootlogger的级别改为WARN或ERROR。-例如，在log4j.properties中，找到类似这样的行：`log4j.rootLogger=INFO,console`，将`INFO`改为`WARN`或`ERROR`。3.如果项目中还没有log4j配置文件，则需要创建一个（可以复制模板并重命名，如引用[5]中提到的log4j.properties.template重命名为log4j.properties）。但注意，如果使用的是其他日志框架（如Logback），则需要修改logback.xml文件，例如：-在logback.xml中，可以设置rootlevel为WARN：`<rootlevel="WARN">`然而，用户问题中明确提到了IDEA，并且引用[4][5]都是关于在IDEA中修改Log4j的配置，所以我们优先按照Log4j的配置方法来回答。除了修改配置文件，还可以在代码中设置日志级别，但这种方式需要修改源代码并重新编译，通常不推荐，因为配置文件的方式更灵活。因此，总结在IntelliJIDEA中关闭INFO日志输出的步骤：步骤1：定位日志配置文件在项目资源目录（如src/main/resources）下找到log4j.properties文件（也可能是log4j.xml，具体看使用哪种配置）。步骤2：修改日志级别使用文本编辑器打开log4j.properties，修改rootLogger的级别，例如：原始：log4j.rootLogger=INFO,stdout修改：log4j.rootLogger=ERROR,stdout#或者WARN步骤3：保存并重新运行保存修改，然后重新运行程序，即可看到只有ERROR（或WARN）及以上级别的日志被输出。如果项目中没有log4j.properties，可以创建一个。内容示例如下：log4j.rootLogger=ERROR,stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d%p[%c]-%m%n另外，引用[5]提到，如果是Spark程序的本地模式运行，可能需要修改log4j.properties.template文件，将其重命名为log4j.properties，然后修改。这是因为Spark默认使用log4j.properties.template，只有重命名为log4j.properties才会生效。如果项目使用的是其他日志框架，比如Logback，则需要在classpath下（通常是src/main/resources目录）找到logback.xml文件，并修改：<rootlevel="WARN"><!--或ERROR--><appender-refref="CONSOLE"/></root>因此，我们首先需要确定项目使用的是哪种日志框架，然后再进行相应的配置。生成相关问题：1.如何确定项目使用的是哪种日志框架？2.在IDEA中如何快速定位日志配置文件？3.除了修改配置文件，还有哪些方式可以动态调整日志级别？4.在Spark项目中如何配置日志级别以关闭INFO日志？5.如何为不同的包设置不同的日志级别？注意：如果用户没有使用Log4j，而是使用其他框架（如java.util.logging），则需要不同的配置方法（如引用[3]提到JavaUtilLogging在启动时配置，且修改不便）。但根据引用[4][5]，我们主要针对的是Log4j。因此，回答的重点是修改Log4j的配置文件。</think> ### 如何在 IntelliJ IDEA 中配置日志级别以关闭 INFO 日志输出 根据引用内容，可通过以下两种方法实现 **关闭 INFO 日志、仅显示 ERROR 级别日志**： #### 🔧 方法 1：修改 log4j.properties 文件（推荐） 1. **定位配置文件** 在项目 `src/main/resources` 目录下找到 `log4j.properties` 文件 *若文件不存在，可将模板文件 `log4j.properties.template` 重命名为 `log4j.properties`* [^5] 2. **修改日志级别** 打开文件并修改以下配置： ```properties # 原始配置（显示INFO及以上级别） log4j.rootCategory=INFO, console # 修改为（仅显示ERROR级别） log4j.rootCategory=ERROR, console ``` *将 `INFO` 替换为 `ERROR` 或 `WARN`，即可关闭所有 INFO 日志* [^4][^5] 3. **重启应用生效** 保存文件后重新运行程序 #### ⚙️ 方法 2：运行时参数配置（适用 Java Util Logging） 1. **添加 JVM 参数** 在 IDEA 运行配置的 `VM options` 中添加： ```bash -Djava.util.logging.config.file=/path/to/logging.properties ``` 2. **配置 logging.properties** 在指定文件中设置： ```properties .level = WARNING # 设置全局日志级别为 WARNING ``` *此方法在 JVM 启动后无法动态修改* [^3] --- ### 📝 关键说明 1. **日志级别关系** `OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL` 将级别设为 `ERROR` 会屏蔽所有低于 ERROR 的日志（含 INFO）[^1] 2. **框架适配性** - ✅ **Log4j/Logback**：优先使用方法 1 - ⚠️ **Java Util Logging**：只能通过 JVM 启动参数配置 [^3] 3. **验证效果** 修改后检查控制台输出，正常状态下应 **仅显示 ERROR 级别日志**，类似： ``` [ERROR] Connection timeout ``` --- ### 🔍 相关问题 1. 如何在保留文件日志的同时关闭控制台 INFO 输出？ 2. Logback 框架在 IDEA 中如何动态调整日志级别？ 3. 为什么修改 log4j.properties 后日志配置未生效？ 4. 如何在 Spark 本地调试时过滤冗余 INFO 日志？ 5. 日志级别 ERROR 和 WARN 在实际开发中应如何选择？ [^1]: 日志级别定义标准（OFF > ERROR > INFO） [^3]: Java Util Logging 的配置限制 [^4]: IDEA 修改 log4j.properties 实践 [^5]: Spark 本地模式日志配置案例
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值