spark<log4j配置控制台日志级别输出>

最新推荐文章于 2023-09-15 16:27:41 发布
最新推荐文章于 2023-09-15 16:27:41 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark log4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Gpwner/article/details/78015830
本文介绍如何通过配置log4j.properties文件来设置Log4j的日志输出级别，包括INFO级别和WARN级别以上的日志输出配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果想要输出INFO级别以上的日志做如下配置,在src/main/resources/下新建一个log4j.properties文件，文件中的内容如下：

# Set everything to be logged to the console
log4j.rootCategory=INFO,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

如果要输出WARN级别以上的 日志，则将第一行的INFO修改成WARN即可

Spark Streaming消费kafka数据为减少控制台输出日志配置log4j.properties不起效的问题
集北卡卡罗特的博客
03-03 856
在使用Spark Streaming消费Kafka数据并处理数据时会在控制台生成大量不太重要的日志，为了减少控制台输出的日志，在使用sparkConf.setLogLevel()方法达不到期望时，想通过配置log4j.properties来实现，遇到了log4j.properties不起效的问题。 当时我的maven项目的Libraries下已经有slf4j、log4j的库，但是pom.xml文件...
Spark log4j 日志配置详解
ZMC921的博客
05-08 1万+
一、spark job日志介绍    spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。    在Spark的conf目录下，把log4j.properties.template...
log4j设置日志级别
渔翁的快乐
01-20 3812
前几天写了一个ifm_tt_sheet项目，从IFM向铁塔那边发送故障单，可是weblogic自带的jar包webservice中的某个包和我导入的jar包saaj.jar包路径内容完全一致，导致axis.jar一直抛空指针，查了这么多资料实在没有办法，找叶师傅帮忙，叶师傅说这个问题是axis抛的他写的这么多项目也是这样不用管。我想了想也实在没有招，大的环境变量不能动，配置weblogic.xml让
Log4j的日志打印级别理解
tonglei111的博客
11-05 2164
之前对log4j日志打印一直没有在意过，等在自己要用的时候却又似懂非懂的样子，今天特意记录一下； 常用的5种日志级别 按照优先级从高到低排序：FATAL, ERROR、WARN、INFO、DEBUG； 通过在配置文件中定义的级别，您可以控制应用程序打印相应级别的日志信息。比如在配置文件汇设置了INFO级别，则应用程序中所有DEBUG级别的日志信息将不被打印出来。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。如果设置级别为INFO，则优先级高于等于INFO级别（如：INFO、
Log4j配置学习--日志级别的生效规则
yangkai100522208的博客
06-27 802
1. Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送到控制台、文件等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程2. Log4j由三个重要的组件构成：日志信息的优先级，日志信息的输出目的地，日志信息的输出格式3. 日志级别：ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF。
【Spark问题记录】抑制spark在控制台输出的日志，使用log4j.properties不生效
RAMBLERS_的博客
09-15 809
由于有部分配置显示的是灰色，所以考虑是文件没有生效，在尝试了将log4j.properties改名到log4j.propertie再改回log4j.properties后发现配置信息都能显示成橙色，再次运行程序，发现日志信息已经不会显示了。但是在文件中，只有前5行是橙色的，其他的都是灰色的，是不是意味着灰色部分的设置没有起作用？为了抑制spark程序运行时在控制台输出的大量日志信息,我在main目录下的resources创建了。
日志输出级别--log4j
weixin_50330651的博客
07-27 224
8种输出级别 （熟记） All < Trace < Debug < Info < Warn < Error < Fatal < Off 规则 比如fbm模块的日志级别设置： <root level="INFO"> <appender-ref ref="STDOUT"/> </root> level=“INFO” ： 说明级别为 Info 、 Warn 、 Error 、 Fatal 、 Off 的日志才
Log4j配置文件
TimeQuantum的博客
09-01 1233
SpringBoot配置Log4j2
使用log4j.properties解决MR和Spark控制台爆红的问题（不影响代码实现）
Null的博客
08-01 1013
1.能解决以下问题 spark程序运行时候如下所示效果 MR车灯徐运行时如下所示效果 2.解决办法 新建一个log4j.properties文件 复制下面的代码 # # # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. ...
spark编程09——设置spark-submit提交程序时不在控制台打印日志信息+nohup 命令
SYITwin的博客
04-08 3955
在用spark-submit提交程序时，会打印很多类似图片所示的日志信息，它们会把想要的结果给淹没，所以要想法去除控制台的日志信息。 解决办法：程序中设置日志级别，然后将运行结果保存在nohup.out文件中 //程序中导入 import org.apache.log4j.{Level, Logger} //下面两行代码放在main函数里 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogge..
spark 日志级别设置为ERROR
干货
04-19 1万+
想只显示ERROR日志。 方式1 代码里设置 val sc = new SparkContext(conf) sc.setLogLevel("ERROR") 这个启动时，仍然会有月一些其他日志. 方式2 log4j.properties文件设置 1.新建一个resource目录，在文件夹上右击，mark as reources root。 2.新建一个log4j.properties...
spark如何自定义log4j配置 及 yarn的应用日志存储
penriver的博客
04-25 2767
在实际工作中，需要针对spark任务的日志输出进行自定义。 1. 相关知识 1.1 spark 日志介绍 以spark2.4.x为例，spark中提供了log4j的方式记录日志，目前使用的版本是log4j-1.2.17，基于properties方式配置 可以在$SPARK_HOME/conf/下，将log4j.properties.template文件copy为log4j.properties来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。 在Spark的co...
log4j配置详解
热门推荐
Java_dragon95的博客
04-06 1万+
log4j配置详解及源码
spark 程序配置日志级别 通过log4j
chixushuchu的博客
11-11 1336
spark 如何配置日志打印级别 Log4j.properties文件 1、spark自身的打印级别 首先明白如何设置spark本身的日志级别 Edit yourconf/log4j.propertiesfile and change the following line: log4j.rootCategory=INFO, console to log4j.rootCateg...
Java日志管理：Log4j & Spark设置日志级别的三种方式
.
03-04 1592
一、Logger.getLogger()和LogFactory.getLog()的区别 1.Logger来自log4j自己的包。如果用Logger.getLogger()，需要一个log4j的jar包，用此方式你只能依log4j 2.LogFactory.getLog()则来自apache的common-logging包。你可以用任何实现了通用日志接口的日志记录器替换log4j，而程序不受影响...
使用logback输出日志总结
MrYushiwen的博客
08-05 1万+
1.日志级别 logback有5种级别，分别是TRACE 、 DEBUG 、INFO 、WARN 、ERROR，定义于ch.qos.logback.classic.Level类中，如下： 如上图： Trace:是追踪，就是程序推进以下，你就可以写个trace输出，所以trace应该会特别多，不过没关系，我们可以设置最低日志级别不让他输出. Debug:指出细粒度信息事件对调试应用程序是非常有帮助的. Info:消息在粗粒度级别上突出强调应用程序的运行过程. Warn:输出警告及warn以下
日志输出设置
上官玺的博客
08-02 1993
日常笔记
java log4j日志级别配置详解
M_Jack的博客
12-05 1万+
1.2 闲话少说，讲讲日志的发展故事（如果已经了解的可以跳过，直接看1.3日志配置） 　　要想对日志技术实现深入了解，我个人建议去看：logback + slf4j。至于日志配置，还是了解log4j比较好，因为目前绝大部分的项目还是使用log4j的。好了，下面开始讲讲日志的发展故事： 　　1999年，Apache开源社区发布了log4j，一时轰动整个程序界，从此成为日志的标准并广泛为java程...
Spark中如何正确配置Log4j以避免初始化错误？
最新发布
07-27
<think>我们正在回答用户关于“Spark中如何正确配置Log4j以避免初始化错误？”的问题。根据之前的错误分析，我们需要提供正确的配置步骤和注意事项。 回答内容将包括： 1. 配置文件的放置位置和基本设置 2. 版本兼容性注意事项 3. 在提交应用时如何指定配置文件 4. 常见配置示例 注意：在回答结束后，必须提出3-5个相关问题，以“§§相关问题§§”开头，然后列出编号的问题。</think>在Spark中正确配置Log4j以避免初始化错误，需遵循以下关键步骤： ### 1. **配置文件准备** - 创建/修改 `log4j.properties` 文件（位于 `$SPARK_HOME/conf/` 目录） - 基础配置示例： ```properties # 设置根日志级别和输出源 log4j.rootCategory=WARN, console # 控制台输出配置 log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # 调整Spark核心日志级别（避免信息过载） log4j.logger.org.apache.spark=WARN ``` ### 2. **部署配置文件** - **本地模式**：直接放置于 `conf/` 目录，Spark自动加载 - **集群模式**： - 打包到JAR文件的资源目录（`src/main/resources/log4j.properties`） - 或使用 `--files` 参数动态分发： ```bash spark-submit --files /path/to/log4j.properties ... ``` ### 3. **版本兼容处理** | Spark版本 | 推荐Log4j版本 | 注意事项 | |-----------|---------------|----------| | Spark 2.x | Log4j 1.2.x | 使用 `log4j.properties` 配置 | | Spark 3.x | Log4j 2.x | 需排除旧版依赖：<br>`config --packages org.apache.spark:spark-core_2.12:3.3.0 --exclude org.apache.logging.log4j:log4j-slf4j-impl` | ### 4. **启动参数验证** - 强制指定配置文件路径： ```bash spark-submit \ --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \ --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \ your_app.jar ``` - 检查配置加载：添加 `-Dlog4j.debug=true` 参数查看加载过程 ### 5. **常见错误预防** - **空字符串错误**：确保配置文件中无空值属性 - **路径问题**：使用绝对路径（`file:/full/path/log4j.properties`） - **权限问题**：集群模式下确保所有节点可读配置文件 - **格式验证**：通过 [Log4j语法检查器](https://log4j-properties-editor.online/) 验证配置 > **关键提示**：对于Spark 3+，若需使用Log4j 1.x，需添加兼容层依赖： > ```xml > <dependency> > <groupId>org.slf4j</groupId> > <artifactId>slf4j-log4j12</artifactId> > <version>1.7.36</version> > </dependency> > ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值