完美解决编写IDEA在Local模式下maven Spark程序消除日志中INFO输出

最新推荐文章于 2023-11-23 21:23:37 发布
最新推荐文章于 2023-11-23 21:23:37 发布
阅读量1.3k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark学习 文章标签： spark idea log4j Intellij
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43695091/article/details/97136557
本文介绍了如何在IntelliJ IDEA环境下，针对使用maven构建的Spark程序，通过修改log4j配置或者调整SparkContext的logLevel来避免控制台输出INFO级别的日志。主要步骤包括复制并修改spark-core中的log4j-default.properties文件，或将SparkContext的日志级别设置为ERROR。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

运行spark程序时，由于使用的时spark-core下的log4j-default.properties配置文件，log4j会将INFO级别的信息全部输出到控制台
在这里插入图片描述
要消除这些INFO信息，只需要找到log4j-default.properties文件，将其复制一份到项目的src目录下，将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的日志。并将文件更名为log4j.properties。

第一步：找到导入的依赖jar文件中的spark-core相关目录，以此展开其中的org/apache/spark
在这里插入图片描述
第二步：找到其中的log4j-default.properties文件
在这里插入图片描述
第三步：将其复制一份到项目的src目录下，更名为log4j.properties
在这里插入图片描述
第四步：将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory

最低0.47元/天 解锁文章

200万优质内容无限畅学
spark log4j.properties
无声的博客
04-10 531
log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m
maven 命令_第10期：maven命令行mvn日志输出格式详解
weixin_39997089的博客
11-22 1187
使用maven，总要执行mvn命令，而mvn总会输出一坨繁琐的日志；大部分情况下，只要知道SUCESS和FAILURE，不计较的话，也能应付工作。但每一行日志到底作用为何，糊里糊涂，总觉得不爽，趁假期结合maven源码琢磨了一番，总结整理如下。最简单的输出首先，从简单的开始，我们创建一个空的maven工程，直接执行mvn clean命令，为了避免第一次出现太多的downloading日志干扰，重复...
清除在intellij IDEA中运行spark代码时显示大量的Info消息
weixin_39814358的博客
09-19 852
背景： 在intellij IDEA中运行spark程序时，会显示大量无用的INFO信息，以至于输出结果被淹没。 解决方法： 1. 将spark安装目录的conf文件夹中的 log4j.properties 文件，到项目的src文件夹中，再将log4j.properties 中的 log4j.rootCategory=INFO, console 改成 log4j.rootCate...
idea maven spark 设置不打印info信息--方法1：src-main-resources-log4j.properties 方法2：如下
qq_20936501的博客
08-31 855
方法一： 方法2：
去除在终端中运行spark打印的INFO信息
m0_70673163的博客
05-08 1486
本人的spark版本是spark-3.3.1-bin-hadoop3的，不同版本的文件名称跟文件内容可能不一样，需要随机应变。
IDEA中运行Spark报日志和SLF4J问题
weixin_52254672的博客
11-23 1214
1.在resources目录中添加log4j.properties文件，解决输出很多日志的问题2.在pom.xml中将存在slf4j冲突的包排除掉，解决输出slf4j问题3.在resources目录中添加log4j2.xml文件，解决输出error问题下面给出修改后的pom.xml文件。
【Spark】【设置】关闭INFO提示
萌狼蓝天の技术栈
10-29 1496
目的：关闭INFO提示 方法：通过修改配置文件实现 操作文件：Hadoop/conf/log4j.properties.template 操作1：复制模板文件使用 cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties 操作2：修改配置文件 将配置文件中的 log4j.rootCategor...
Spark Local + Maven + IDEA项目
04-13
在Main class中选择你刚创建的Spark程序，设置相关参数，如Master为`local[*]`，表示在本地多线程模式下运行Spark。 3. 测试与调试：运行程序，观察输出结果，可以方便地进行断点调试，理解Spark程序的工作原理。 ...
Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）
热门推荐
Wingkin的博客
12-16 1万+
本文介绍Intellij IDEA编写Spark应用程序，项目使用maven构建。
在IDEA中利用Maven创建Spark项目
小小良
06-08 2640
1、安装相应sdk及环境变量配置 （1）安装java-sdk （2）安装scala-sdk （3）安装spark 2、安装IDEA 从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等 3、maven配置 打开maven存放文件夹找到 conf ->settings.xml 找到<mirrors>节点 把下面内容写入节点内 配置为阿里云的镜像 　　<mirror> <id>alimaven</id>
IntelliJ IDEA编写maven搭建的spark程序读取hbase数据
Wingkin的博客
12-17 2927
IntelliJ IDEA编写maven搭建的spark程序的详细步骤在上篇文章中已经介绍了，感兴趣的可以去看一下：Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala） 搭建的步骤是一样的，主要是pom文件和代码的不同。 1.项目结构 2.pom文件 <properties> <spark.version>2.1.0</spark.version> <scala.version>2.1
运行IDEA的spark输出很多INFO信息解决方法
我歌月徘徊，我舞影零乱
03-24 2470
在maven 导入的依赖 jar文件中的spark-core目录，其中的org/apache/spark 找到 log4j-default.properties文件，复制到运行目录下，改名为log4j.properties 内部把 log4j.rootCategory=INFO, console 修改为 log4j.rootCategory=ERROR, console...
log4j文件
FreedomZzzzz的博客
11-21 445
在resources中 log4j.properties # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for addition...
【Java】 在 idea 中运行 logback 自动日志配置更新失效
qq_34416331的博客
04-29 1366
现象： 在 idea 中运行整合了 logback 日志框架的 springboot 项目时，发现自动日志配置更新失效. 原因： 当项目运行时，等同于部署在一个外置的 tomcat 服务器中，需要修改 target 底下的日志配置文件，而不是 resources 中的日志配置文件。 ...
如何设置IDEA日志不显示INFO信息,还你一个清爽的console
qq_43476358的博客
11-07 998
(如果有此文件添加上面文件后不一定生效,因为springboot中的配置优先级的问题)查看项目中是否有其他配置文件,例如我们的这个有个logback的xml文件。在resource下新建log4j.properties。新建完成后同时复制到target中的classes中。全局替换INFO,如下图。
springboot+maven项目配置日志输出文件
weixin_53150299的博客
07-25 1629
SpringBoot 在所有内部日志中使用Commons Logging，但是默认配置也提供了对常用日志的支持，如：Java Util Logging，Log4J, Log4J2和Logback。每种Logger都可以通过配置使用控制台或者文件输出日志内容。SLF4J类似于Commons Logging，也是一个日志接口，而Logback类似于Log4j，是一个日志的实现。
2021-04-12 各种依赖
okludawei的博客
04-12 1313
Maven pom.xml 常用配置 JDK 版本配置 和 文件编码 <properties> <!-- 设置 JDK 版本为 1.8 --> <maven.compiler.target>1.8</maven.compiler.target> <maven.compiler.source>1.8</maven.compiler.source> <!-- 设置编码为 UTF-8 -->
关于Maven项目中日志无法打印问题详解
超级字节码的博客
12-12 2435
最近在学习Maven项目中，日志输出过程中,无法显示logger.info("XXXX")输出内容,且控制台会显示警告 错误事例 log4j:WARN No appenders could be found for logger (org.apache.shiro.io.ResourceUtils). log4j:WARN Please initialize the log4j syste...
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息
ltylzq的博客
01-11 3019
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容  　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E
local模式 Idea运行spark程序
最新发布
04-03
### 在 Local 模式下通过 IntelliJ IDEA 配置并运行 Spark 程序 要在本地模式下使用 IntelliJ IDEA 运行 Spark 程序，需完成以下几个方面的配置： #### 1. 软件及依赖项准备 为了成功构建和运行 Spark 应用程序，需要安装以下软件及其指定版本[^1]： - **Java JDK**: 推荐使用 Java 8 或更高版本。 - **Scala**: 版本应与 Spark 的 Scala 版本兼容。例如，如果使用的是 Spark 2.x，则推荐使用 Scala 2.11.x。 - **Apache Maven**: 用于管理项目的依赖关系，建议版本为 3.6.3 或以上。 - **IntelliJ IDEA 社区版/专业版**: 至少需要支持 Scala 插件的版本。 #### 2. 创建 Spark 项目 启动 IntelliJ IDEA 并按照如下方式创建一个新的 Maven 项目： - 新建一个 Maven 项目，在 `pom.xml` 文件中添加必要的 Spark 和 Scala 依赖项。以下是典型的依赖声明示例: ```xml <dependencies> <!-- Apache Spark Core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.7</version> </dependency> <!-- Apache Spark SQL (可选) --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.7</version> </dependency> <!-- Scala Library --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> </dependencies> ``` #### 3. 编写 Spark 代码 编写简单的 Spark 程序来验证其功能。下面是一个基本的 Spark 示例代码片段[^2]： ```scala package com.example.sparkDemo import org.apache.spark.{SparkConf, SparkContext} object SimpleApp { def main(args: Array[String]): Unit = { val conf = new SparkConf() .setAppName("Simple Application") .setMaster("local[*]") // 设置为本地模式 val sc = new SparkContext(conf) val data = List(1, 2, 3, 4, 5) val rdd = sc.parallelize(data) val result = rdd.map(x => x * 2).collect() println(result.mkString(", ")) sc.stop() } } ``` 上述代码定义了一个简单的 RDD 数据集，并对其执行了映射操作，最后打印结果。 #### 4. 配置运行参数 在 IntelliJ IDEA 中设置运行配置以支持 Spark 程序的调试和测试： - 右键点击项目中的主类文件（如上例中的 `SimpleApp`），选择“Run 'SimpleApp.main()'”。 - 如果需要自定义 JVM 参数或其他选项，可以在 Run/Debug Configurations 对话框中调整 VM options。例如，可以增加内存分配或启用垃圾回收日志记录。 #### 5. 测试 Spark 程序 确保所有依赖已正确加载后，即可直接运行该程序。由于设置了 `.setMaster("local[*]")`，因此此应用将在单机多线程环境下模拟集群行为[^3]。 --- ### 注意事项 - 当前环境仅适用于开发阶段的小规模数据处理；对于大规模生产部署，请切换至分布式集群模式。 - 若遇到任何编译错误，请检查所使用的库版本是否一致以及是否存在冲突。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值