使用idea调试spark信息时，设置不打印INFO信息

最新推荐文章于 2024-11-29 16:05:55 发布
原创 最新推荐文章于 2024-11-29 16:05:55 发布 · 3.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在IDEA中配置Spark的日志级别，通过修改log4j.properties文件，将日志级别从INFO调整为ERROR，从而在调试Spark程序时过滤掉大量不相关信息。

1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties，如下图所示：

2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可，如下图所示：

3、此时在调试spark程序就没有了INFO信息，如下图所示：

如何在Spark中使用Java？
AI天才研究院
08-16 798
1. 背景介绍 1.1 大数据时代的计算挑战 随着互联网和物联网的快速发展，全球数据量呈爆炸式增长，传统的单机计算模式已经无法满足海量数据的处理需求。大数据技术的出现为解决这一挑战提供了新的思路，而Spark作为新一代大数据处理引擎，以其高效、易用、通用等特点，迅速成为业界主流选择。
如何设置IDEA日志不显示INFO信息,还你一个清爽的console
qq_43476358的博客
11-07 1114
(如果有此文件添加上面文件后不一定生效,因为springboot中的配置优先级的问题)查看项目中是否有其他配置文件,例如我们的这个有个logback的xml文件。在resource下新建log4j.properties。新建完成后同时复制到target中的classes中。全局替换INFO,如下图。
如何在IDEA中执行Spark时不打印日志
qq_43494013的博客
07-10 545
如何在IDEA中执行Spark时不打印日志
如何设置IDEA日志不显示INFO信息
dd524125153的博客
02-10 3185
第一步 在main目录下创建resources文件夹 然后再resources文件夹里面创建 log4j.properties文件 添加以下内容 log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.Patt
IDEA 调试@Slf4j log.info无法打印日志，报错failed to load class “org.slf4j.imp.StaticLoggerBinder“及解决亲测可行
qq_40985985的博客
09-20 2762
IDEA 调试@Slf4j log.info无法打印日志，报错failed to load class "org.slf4j.imp.StaticLoggerBinder"及解决亲测可行
运行IDEA的spark输出很多INFO信息解决方法
我歌月徘徊，我舞影零乱
03-24 2518
在maven 导入的依赖 jar文件中的spark-core目录，其中的org/apache/spark 找到 log4j-default.properties文件，复制到运行目录下，改名为log4j.properties 内部把 log4j.rootCategory=INFO, console 修改为 log4j.rootCategory=ERROR, console...
idea执行spark不打印日志方法
m0_50642186的博客
06-28 472
idea执行spark不打印日志方法
【大数据】在win11下使用IDEA进行Spark实践
m0_51371693的博客
11-29 1360
spark，scala，IDEA
Intellij-idea 设置断点跟踪调试Spark 代码（+JProfiler 性能调优）
Yannick Jiang 的专栏
04-06 3913
简介： Spark 的调试方法 按类型可以分为三类：调试Client 端、调试SparkDriver 和 调试 Spark Executor。画图工具（dia 0.97+git，http://live.gnome.org/Dia） 一、内容介绍 1.调试Client如下： ./bin/spark-class 里添加命令：export JAVA_OPTS="${JAVA_OPTS} ...
idea配置spark的java开发环境
09-07 2224
建立spring boot项目。Controller能够输出。搭建过程请参考我的其他博文。 2、指定spark版本： <properties><java.version>1.8</java.version><spark.version>3.1.2</spark.version><scala.version>2.12</scala.version></properties> ...
Scala | Spark基础入门 | IDEA配置 | 集群搭建与测试
liujiesxs的博客
07-18 1079
spark环境配置及IDEA配置，Spark入门
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息
ltylzq的博客
01-11 3053
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容  　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E
IntelliJ IDEA Spark程序本地模式运行消除日志输出INFO信息
SunWuKong_Hadoop的博客
10-12 2104
方法一： 修改log4j.properties.template文件名为log4j.properties，并修改内容： log4j.rootCategory=INFO, console 改成 log4j.rootCategory=ERROR, console 或 log4j.rootCategory=WARN, console 只显示ERROR级别的日志。 方法二： 将方法一拷贝出来的文...
idea编写spark应用时，去除info日志
weixin_34107739的博客
09-06 573
2019独角兽企业重金招聘Python工程师标准>>> ...
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息（java代码）
liangsir
01-17 948
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的...
IDEA控制台为什么不打印日志
w8y56f的专栏
11-15 1万+
有的时候会发现IDEA的控制台不打印日志，有时候打印，这是为什么呢。 我遇到的一种原因是：其实打印了日志，你没注意而已。 原因 如果日志太长，则会缩成 <1 internal call> 点开后就是完整的日志。如图 点开后 另外一个证据是，将很长的内容的字段注释掉后，就会打印完整的，如图 ...
intellij IDEA隐藏INFO日志信息，只显示ERROR
热门推荐
Learning by doing
06-07 2万+
intellij IDEA有很多[INFO]信息有时候很烦，看不到想要的输出，一般情况下，只显示ERROR信息就可以了。1，在源码src下面新建文件夹resources，2，右击resources文件夹Mark Directory as 选中Resources Root3，将spark源码conf目录下的log4j.properties文件复制到 src/resources文件夹下（如果有同学不想...
spark log4j.properties
无声的博客
04-10 552
log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m
idea搭建spark开发环境
最新发布
05-16
### 配置和搭建Spark开发环境 #### 1. 安装必要的软件 为了在 IntelliJ IDEA 中成功配置 Spark 开发环境，需要先完成以下几个步骤： - **安装 IntelliJ IDEA** 确保已安装最新版本的 IntelliJ IDEA（社区版或 Ultimate 版均可）。如果尚未安装，请前往官方网站下载并按照官方指南完成安装。 - **安装 JDK** 在 C 盘或其他自定义路径下创建 `java` 文件夹，并将下载好的 JDK 程序安装至该目录。安装完成后需配置系统的环境变量[^1]。具体操作如下： - 打开系统属性 -> 高级系统设置 -> 环境变量。 - 新建或编辑 `JAVA_HOME` 变量，将其指向 JDK 的安装路径（如 `C:\java\jdk-version`）。 - 将 `%JAVA_HOME%\bin` 添加到 `Path` 系统变量中。 #### 2. 下载 Apache Spark 和 Maven 构建工具 - **Apache Spark** 访问 [Apache Spark](https://spark.apache.org/downloads.html)，选择适合的操作系统版本并下载压缩包。解压后放置于指定位置以便后续引用。 - **Maven 工具** 如果未安装 Maven，则需要从其官网获取对应版本并完成安装。同样需要配置 `MAVEN_HOME` 环境变量以及更新 `Path` 路径。 #### 3. 创建项目并导入依赖项 打开 IntelliJ IDEA 并执行以下操作： - **新建 Scala 或 Java 项目** - 使用 File -> New Project 来启动新工程向导。 - 选择基于 Maven 的构建方式以方便管理外部库文件。 - **修改 pom.xml 文件引入 Spark 核心组件** 以下是典型的 POM 文件片段用于加载 Spark 支持的相关模块： ```xml <dependencies> <!-- Spark Core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.4.0</version> <!-- 替换为目标版本号 --> </dependency> <!-- Spark SQL (可选) --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.4.0</version> </dependency> </dependencies> ``` #### 4. 编写测试代码验证环境连通性 编写一段简单的 WordCount 示例来确认整个流程无误： ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { // 初始化 Spark Conf 对象 val sparkConf = new SparkConf() .setMaster("local[*]") // 设置运行模式为本地调试 .setAppName("Word Count Application") // 实例化 Spark Context 上下文实例 val sc = new SparkContext(sparkConf) try { // 加载数据源进行处理逻辑实现... val linesRDD = sc.textFile("input.txt") val wordsRDD = linesRDD.flatMap(_.split("\\s+")) val wordCounts = wordsRDD.map(word => (word, 1)).reduceByKey(_ + _) // 输出统计结果保存回磁盘或者打印屏幕展示 wordCounts.collect().foreach(println) } finally { // 正常退出前释放资源 sc.stop() } } } ``` 注意以上脚本中的输入文件名应替换实际存在的文本资料地址[^2]。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值