使用idea调试spark信息时，设置不打印INFO信息

最新推荐文章于 2024-11-29 16:05:55 发布
原创 最新推荐文章于 2024-11-29 16:05:55 发布 · 3.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在IDEA中配置Spark的日志级别，通过修改log4j.properties文件，将日志级别从INFO调整为ERROR，从而在调试Spark程序时过滤掉大量不相关信息。

1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties，如下图所示：

2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可，如下图所示：

3、此时在调试spark程序就没有了INFO信息，如下图所示：

如何在Spark中使用Java？
AI天才研究院
08-16 798
1. 背景介绍 1.1 大数据时代的计算挑战 随着互联网和物联网的快速发展，全球数据量呈爆炸式增长，传统的单机计算模式已经无法满足海量数据的处理需求。大数据技术的出现为解决这一挑战提供了新的思路，而Spark作为新一代大数据处理引擎，以其高效、易用、通用等特点，迅速成为业界主流选择。
如何设置IDEA日志不显示INFO信息,还你一个清爽的console
qq_43476358的博客
11-07 1113
(如果有此文件添加上面文件后不一定生效,因为springboot中的配置优先级的问题)查看项目中是否有其他配置文件,例如我们的这个有个logback的xml文件。在resource下新建log4j.properties。新建完成后同时复制到target中的classes中。全局替换INFO,如下图。
如何在IDEA中执行Spark时不打印日志
qq_43494013的博客
07-10 545
如何在IDEA中执行Spark时不打印日志
如何设置IDEA日志不显示INFO信息
dd524125153的博客
02-10 3185
第一步 在main目录下创建resources文件夹 然后再resources文件夹里面创建 log4j.properties文件 添加以下内容 log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.Patt
IDEA 调试@Slf4j log.info无法打印日志，报错failed to load class “org.slf4j.imp.StaticLoggerBinder“及解决亲测可行
qq_40985985的博客
09-20 2762
IDEA 调试@Slf4j log.info无法打印日志，报错failed to load class "org.slf4j.imp.StaticLoggerBinder"及解决亲测可行
运行IDEA的spark输出很多INFO信息解决方法
我歌月徘徊，我舞影零乱
03-24 2518
在maven 导入的依赖 jar文件中的spark-core目录，其中的org/apache/spark 找到 log4j-default.properties文件，复制到运行目录下，改名为log4j.properties 内部把 log4j.rootCategory=INFO, console 修改为 log4j.rootCategory=ERROR, console...
idea执行spark不打印日志方法
m0_50642186的博客
06-28 472
idea执行spark不打印日志方法
【大数据】在win11下使用IDEA进行Spark实践
m0_51371693的博客
11-29 1360
spark，scala，IDEA
Intellij-idea 设置断点跟踪调试Spark 代码（+JProfiler 性能调优）
Yannick Jiang 的专栏
04-06 3913
简介： Spark 的调试方法 按类型可以分为三类：调试Client 端、调试SparkDriver 和 调试 Spark Executor。画图工具（dia 0.97+git，http://live.gnome.org/Dia） 一、内容介绍 1.调试Client如下： ./bin/spark-class 里添加命令：export JAVA_OPTS="${JAVA_OPTS} ...
idea配置spark的java开发环境
09-07 2224
建立spring boot项目。Controller能够输出。搭建过程请参考我的其他博文。 2、指定spark版本： <properties><java.version>1.8</java.version><spark.version>3.1.2</spark.version><scala.version>2.12</scala.version></properties> ...
Scala | Spark基础入门 | IDEA配置 | 集群搭建与测试
liujiesxs的博客
07-18 1079
spark环境配置及IDEA配置，Spark入门
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息
ltylzq的博客
01-11 3053
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容  　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E
IntelliJ IDEA Spark程序本地模式运行消除日志输出INFO信息
SunWuKong_Hadoop的博客
10-12 2104
方法一： 修改log4j.properties.template文件名为log4j.properties，并修改内容： log4j.rootCategory=INFO, console 改成 log4j.rootCategory=ERROR, console 或 log4j.rootCategory=WARN, console 只显示ERROR级别的日志。 方法二： 将方法一拷贝出来的文...
idea编写spark应用时，去除info日志
weixin_34107739的博客
09-06 573
2019独角兽企业重金招聘Python工程师标准>>> ...
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息（java代码）
liangsir
01-17 947
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的...
IDEA控制台为什么不打印日志
w8y56f的专栏
11-15 1万+
有的时候会发现IDEA的控制台不打印日志，有时候打印，这是为什么呢。 我遇到的一种原因是：其实打印了日志，你没注意而已。 原因 如果日志太长，则会缩成 <1 internal call> 点开后就是完整的日志。如图 点开后 另外一个证据是，将很长的内容的字段注释掉后，就会打印完整的，如图 ...
intellij IDEA隐藏INFO日志信息，只显示ERROR
热门推荐
Learning by doing
06-07 2万+
intellij IDEA有很多[INFO]信息有时候很烦，看不到想要的输出，一般情况下，只显示ERROR信息就可以了。1，在源码src下面新建文件夹resources，2，右击resources文件夹Mark Directory as 选中Resources Root3，将spark源码conf目录下的log4j.properties文件复制到 src/resources文件夹下（如果有同学不想...
spark log4j.properties
无声的博客
04-10 552
log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m
idea搭建spark开发环境
最新发布
05-16
.setMaster("local[*]") // 设置运行模式为本地调试 .setAppName("Word Count Application") // 实例化 Spark Context 上下文实例 val sc = new SparkContext(sparkConf) try { // 加载数据源进行处理逻辑...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值