Spark 日志错误信息分析及解决方案：log4j、SLF4j

最新推荐文章于 2023-11-23 21:23:37 发布
原创 最新推荐文章于 2023-11-23 21:23:37 发布 · 置顶 · 4.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分析了Spark运行时遇到的log4j和SLF4J绑定错误，指出由于不同环境的jar包版本不一致导致的日志初始化失败问题。解决方案包括明确引入特定版本的slf4j-api、slf4j-log4j12和log4j包，排除冲突的jar，并调整提交作业时的配置选项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark 日志错误信息
异常信息：( 解决了好久的问题 )
1、log4j错误类「org.apache.log4j.Appender」被加载，「org.apache.log4j.ConsoleAppender」不能分配给「org.apache.log4j.Appender」，导致sparkContext初始化失败
log4j:ERROR A "org.apache.log4j.ConsoleAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.log4j.ConsoleAppender" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "console".
log4j:ERROR A "org.apache.hadoop.log.metrics.EventCounter" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.hadoop.log.metrics.EventCounter" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "EventCounter".
log4j:ERROR A "org.apache.log4j.ConsoleAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.log4j.ConsoleAppender" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "console".
log4j:ERROR A "org.apache.log4j.varia.NullAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.log4j.varia.NullAppender" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "NullAppender".
log4j:ERROR A "org.apache.log4j.ConsoleAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.log4j.ConsoleAppender" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "console".
最低0.47元/天 解锁文章

200万优质内容无限畅学
Java领域log4j多线程环境下的使用要点
Java大师兄的博客
04-15 1425
在Java开发中，日志记录是一个至关重要的环节，它可以帮助开发者调试程序、监控系统运行状态以及进行问题排查。而在多线程环境下，日志记录面临着诸多挑战，如线程安全问题、日志输出混乱等。本文的目的是深入探讨log4j在多线程环境下的使用要点，包括如何保证线程安全、如何优化日志记录性能等。范围涵盖了log4j的基本概念、核心算法原理、实际应用场景以及相关的工具和资源推荐。本文将按照以下结构进行组织：首先介绍log4j的核心概念与联系，包括其架构和工作原理；
从Log4j2原理、攻击和解决方案来聊聊这次全球性的Log4j2漏洞
ixxqq的博客
12-16 510
本文分四个方面来说说Log4j2的相关问题1、Log4j2原理2、如何利用漏洞进行攻击3、解决方案4、带来的思考。此次漏洞影响面之广足以载入安全史册，Log4j2凭借一己之力让全球程序员过...
spark报错jjava.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder
strelizia
09-30 2053
完整错误 Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:756) at java.security.SecureClassLoader.defineC.
Spark运行日志去除——log4j.properties
小白
08-17 1372
log4j.rootLogger=ERROR,stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%-20c] - %m%n log4j.appender.logfile=org.apache.log4j.Fil
Spring or SpringBoot项目整合spark日志冲突解决
gx304419380的博客
04-03 1711
去除掉项目中所有的slf4j <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> </exclusion>
Maven项目同时包含Spark和Springboot时导致Log4j与Logback依赖冲突问题解决
二同的技术博客
05-19 2324
当maven项目同时包含Spark和Springboot时，直接运行@SpringBootApplication类会报错，报错信息类似于 Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing imple
scala在spark中使用log4j报不能序列化
xiaolin93的博客
11-14 2157
Caused by: java.io.NotSerializableException: org.apache.log4j.Logger Serialization stack: - object not serializable (class: org.apache.log4j.Logger, value: org.apache.log4j.Logger@149ff4b5) - field
Java日志管理全面解析：Log4j、SLF4J、Logback综合应用秘籍
[Java日志管理全面解析：Log4j、SLF4J、Logback综合应用秘籍](https://img-blog.csdnimg.cn/20200420114009578.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG...
SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/JavaDevelo
qq_40213178的博客
05-12 2602
首先查看父类pom 确实有这两依赖和版本,也就是说我的依赖中肯定有东西引用了他两,但是我不想一个个加 ,直接proper再子项目排除,还在.然后重新加载sl4j 不行,还在,等等等方法,都无法解决 就跟口香糖一一样,我**🐎。按照之前的配置清除原本日志依赖 clean 再重启 ,还是会报错,查看了一下maven依赖(顶级依赖)没有找到,然后去项目Lib查看,发现开头第2第3就是她两,然后陆陆续续弄了一个小时最终还是给我消去了。第一个就是再pom.xml 中排除springboot 原来的。
Spring Boot启动报错，log4j2日志依赖冲突，报错提示：log4j-slf4j-impl cannot be present with log4j-to-slf4j
✅ Java 开发工程师，从事 Web 应用程序的研发，擅长 Spring、SpringBoot 等技术。 ✅ 热爱编程，业余时间学习新知识，通过 优快云 记录学习心得和笔记内容。
04-09 1万+
（1）问题描述 在Spring Boot基础之上，集成Spring Security框架的时候，启动项目报错： Caused by: org.apache.logging.log4j.LoggingException: log4j-slf4j-impl cannot be present with log4j-to-slf4j 报错内容如下： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in
IDEA中运行Spark报日志和SLF4J问题
weixin_52254672的博客
11-23 1218
1.在resources目录中添加log4j.properties文件，解决输出很多日志的问题2.在pom.xml中将存在slf4j冲突的包排除掉，解决输出slf4j问题3.在resources目录中添加log4j2.xml文件，解决输出error问题下面给出修改后的pom.xml文件。
log4j遇到的问题
Jimmy的博客
09-02 2149
log4j:ERROR Could not find value for key log4j.appender.logfilel log4j:ERROR Could not instantiate appender named “logfilel”. 1.上一个Appender没写满 不是 一些必须的Appender属性是必须要有的，比如不管哪种Appender，layout要有；又比如...
found for dependency: expected at least 1 bean which qualifies as autowire candidate for this depend
cgm625637391的博客
07-04 1788
日志报错： 七月 04, 2019 10:15:48 上午 org.apache.tomcat.util.digester.SetPropertiesRule begin 警告: [SetPropertiesRule]{Server/Service/Engine/Host/Context} Setting property 'source' to 'org.eclipse.jst.j2ee.se...
maven项目引入log4j，log4j启动报错
qq_43228403的博客
02-25 3096
今天想把自己写的小练习项目引入log4j但是遇到遇到了点挫折，总结网上并记录一下我自己的解决方法。 在pom文件中导入log4j后，首先我发现我的maven项目创建时没有自动生成src\main\java和src\main\resources包。 我们需要的是这样的目录结构： 因为我们都知道log4j的配置文件需要放置在src\main\resources目录下，所以我自己创建了java包和recources包 如果想在创建项目是自动生成java和recources包请看这里 https://blog
如何查看Spark日志与排查报错问题
qq_36470898的博客
06-29 4704
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的**println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里
log4j:ERROR Could not find value for key log4j.appender.filelog4j:ERROR Could not instantiate appen
weixin_58006226的博客
11-08 696
log4j:ERROR Could not find value for key log4j.appender.filelog4j:ERROR Could not instantiate appen
ERROR Could not instantiate appender named "logfile".
热门推荐
Hi, Sun
05-08 1万+
log4j:ERROR A "org.apache.log4j.ConsoleAppender" object is not assignable to a "org.apache.log4j.Appender" variable. log4j:ERROR The class "org.apache.log4j.Appender" was loaded by log4j:ERROR [org...
SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/C:/software/apache-maven-3.5.2/repo/org/apache/logging/log4j/log4j-slf4j-impl/2.11.2/log4j-slf4j-impl-2.11.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/C:/software/apache-maven-3.5.2/repo/org/slf4j/slf4j-log4j12/1.7.30/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
最新发布
06-11
根据错误信息，类路径中包含了两个绑定：1.log4j-slf4j-impl-2.11.2.jar(ApacheLog4j2的SLF4J绑定)2.slf4j-log4j12-1.7.30.jar(SLF4J对Log4j1.x的绑定)这两个绑定不能同时存在。我们需要排除其中一个。解决方法：在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值