IntelliJ IDEA Spark程序本地模式运行消除日志输出INFO信息

最新推荐文章于 2024-02-07 14:05:42 发布

原创最新推荐文章于 2024-02-07 14:05:42 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

spark 同时被 2 个专栏收录

30 篇文章

订阅专栏

Spark

14 篇文章

订阅专栏

本文介绍如何通过修改log4j.properties文件来调整Log4j日志级别，包括将日志级别设置为ERROR或WARN，以减少日志输出，提高系统运行效率。

方法一：

修改log4j.properties.template文件名为log4j.properties，并修改内容：

log4j.rootCategory=INFO, console
改成
log4j.rootCategory=ERROR, console
或
log4j.rootCategory=WARN, console
只显示ERROR级别的日志。

方法二：

将方法一拷贝出来的文件直接放至/src/main/resources/下，就可以了。推荐第二种方法！！

修改前后对比：

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SunWuKong_Hadoop

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

完美解决编写IDEA在Local模式下maven Spark程序消除日志中INFO输出

weixin_43695091的博客

07-24

1342

运行spark程序时，由于使用的时spark-core下的log4j-default.properties配置文件，log4j会将INFO级别的信息全部输出到控制台要消除这些INFO信息，只需要找到log4j-default.properties文件，将其复制一份到项目的src目录下，将第一行的log4j.rootCategory=INFO, console改成log4j.rootCatego...

安装sbt利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+SBT）参考林子雨教程

m0_68165821的博客

05-27

2896

备注：这里需要注意，在Intellij Idea启动时，会执行“extracting project structure from sbt”的操作，也就是把sbt所需要的项目结构从远程服务器拉取到本地，在本地会生成sbt所需要的项目结构。sbt需要下载安装，可以访问“http://www.scala-sbt.org”下载安装文件sbt-1.3.8.tgz，保存到下载目录。我们点击Install，就会开始下载安装插件，安装完成后，我们点击Restart IDE，重启后，就可以显示中文的IDEA界面了。

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

Thomas2143 2024.04.25
spark3 没用

IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息

ltylzq的博客

01-11

3045

将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下方法一：修改log4j.properties文件的内容　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E

idea中如何去掉spark日志信息(从源头找出来改)

m0_46908992的博客

02-07

1481

大多数通用的办法是在maven项目中的resources目录下创建一个log4j.properties文件, 但我的并没有成功, 最终从源头找到日志默认文件并进行更改, 重新运行代码就不会再出现日志信息了!

运行IDEA的spark输出很多INFO信息解决方法

我歌月徘徊，我舞影零乱

03-24

2503

在maven 导入的依赖 jar文件中的spark-core目录，其中的org/apache/spark 找到 log4j-default.properties文件，复制到运行目录下，改名为log4j.properties 内部把 log4j.rootCategory=INFO, console 修改为 log4j.rootCategory=ERROR, console...

idea编写spark应用时，去除info日志

weixin_34107739的博客

09-06

572

2019独角兽企业重金招聘Python工程师标准>>> ...

请详细介绍如何在IntelliJ IDEA中设置Spark Scala项目，并指导如何在本地运行和部署分布式Spark应用程序。

11-02

在编写完Spark程序代码后，你可以通过IntelliJ IDEA的运行配置来本地运行你的Spark应用程序。你可以创建一个运行配置，指定主类和VM选项，如使用足够的堆内存。当你准备部署分布式Spark应用程序时，需要配置...

如何在IntelliJ IDEA中编写spark程序

最新发布

11-06

首先，用户的问题是：“我想获取在IntelliJ IDEA中编写Spark程序的方法请问IntelliJ IDEA编写Spark程序的方法”。这是用户的核心需求，基于之前的系统指令和提供的引用内容。系统指令包括： - 所有行内数学表达式...

Intellij Idea中Spark与Scala集成测试项目

标题“SparkTest: Intellij Idea中的Spark Scala项目样本”揭示了一个用于学习和实践Apache Spark与Scala语言在Intellij IDEA集成开发环境（IDE）中协同工作的项目模板。该项目的核心目标是为开发者提供一个开箱即用...

IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息（java代码）

liangsir

01-17

946

将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下方法一：修改log4j.properties文件的内容将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的...

spark log4j.properties

无声的博客

04-10

549

log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m

使用idea调试spark信息时，设置不打印INFO信息

sxj的专栏

05-07

3600

1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties，如下图所示： 2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可，如下图所示...

idea去掉spark的日志

前方的路在刚开始

08-04

2030

尤其是这2个，要删除，否则会导致你设置的log4j.proerpties失效。1.直接在代码里设置日志级别，包含直接类中添加，和使用继承类（不推荐）spark默认会答应info，信息，他内置有log4j。3.添加log4j.prperties。创建一个这样的文件，名称也要一样。2.修改他的全局配置（不推荐）故，我们有3种方式解决。...

idea写spark程序时过滤掉INFO信息

qq_42400267的博客

12-17

987

编写spark程序时，INFO信息导致过多导致输出非常不好找，因此给他过滤掉方法一：在代码中加入 val spark = SparkSession.builder().appName("xx").master("local").getOrCreate() val sc = spark.sparkContext sc.setLogLevel("ERROR")//log中只会出现error级别的...

Idea中运行spark消除控制台的info日志输出的方法

weixin_30273931的博客

03-12

1532

这个样子看的很烦方法：找到自己的log4j.properties.template文件，把它放到项目的src/main/resources/下 log4j.properties.template的话，一般在spark的conf下面将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，...

如何设置IDEA日志不显示INFO信息,还你一个清爽的console

qq_43476358的博客

11-07

1084

(如果有此文件添加上面文件后不一定生效,因为springboot中的配置优先级的问题)查看项目中是否有其他配置文件,例如我们的这个有个logback的xml文件。在resource下新建log4j.properties。新建完成后同时复制到target中的classes中。全局替换INFO,如下图。

一次切割日志引发的血案

weixin_33949359的博客

05-06

187

2019独角兽企业重金招聘Python工程师标准>>> ...