Failed to load class "org.slf4j.impl.StaticLoggerBinder" spark

解决Failed to load class “org.slf4j.impl.StaticLoggerBinder“ 今日运行程序,日志报错 在运行时,没有做日志的实现(或者说日志的绑定),所以我们需要在maven加一下依赖: <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-nop</artifactId> <version>1.7.2</version> </dependency> 并在resources目录下增加log 阅读详情

问题描述:

        在使用spark-shell 时,开启的是本地模式,执行加载数据的命令报错

scala> val usersDF = spark.read.load("/opt/module/datas/users.parquet")
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
usersDF: org.apache.spark.sql.DataFrame = [name: string, favorite_color: string ... 1 more field]

         虽然也成功执行了,但是这个错误信息看着也还是挺揪心的,所以尝试解决。

解决方式:

        网上搜索 “Failed to load class "org.slf4j.impl.StaticLoggerBinder" 看到的解决办法基本上都是 maven 环境下依赖的配置问题,与我这里不算太契合,但是也有参考意义;

      官网上刊登的解决办法是:

        This error is reported when the org.slf4j.impl.StaticLoggerBinder class could not be loaded into memory. This happens when no appropriate SLF4J binding could be found on the class path. Placing one (and only one) of slf4j-nop.jar, slf4j-simple.jar, slf4j-log4j12.jar, slf4j-jdk14.jar or logback-classic.jar on the class path should solve the problem.

翻译过来如下所示:

         这个错误是当org.slf4j.impl报道。StaticLoggerBinder类不能被加载到内存中。发生这种情况时,无法找到合适的SLF4J绑定类路径。slf4j-nop.jar放置一个(且只有一个), slf4j-simple.jar, slf4j-log4j12.jar, slf4j-jdk14.jar 或 logback-classic.jar 的类路径应该解决这个问题。

        所以说解决的办法就是随便将一个上述的包文件(只有选一个)放到spark的默认jar包存放的目录即可,我的是“slf4j-nop-1.7.2.jar”包文件的依赖。

       有了方法之后现在就要去下载这个jar包,去到 SLF4J 官网,页面如下:

          但是发现怎么都找不到 jar 包的下载地址,很无奈。这时候 IDEA 配置依赖的方式提醒了我,就让 IDEA 帮我下,我再去拿这个jar包不就好了。

       说干就干,在IDEA的pom文件肿添加如下依赖:

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-nop</artifactId>
            <version>1.7.2</version>
        </dependency>

        等它下载完成后,找到这个jar包的位置,注意,我这里是配置了maven的仓库:

       拿到之后直接上传到 Linux 系统下 spark  的目录下:

/opt/module/spark-2.1.0-bin-hadoop2.7/jars

        查看是否上传成功:

      成功上传后再次执行加载数据的命令:

     错误消失,成功解决。

 

 

 

 

 

 

Spark环境搭建深度指南:从JVM依赖到PySpark配置 Apache Spark并非即装即用的单机库,而是一个强依赖JVM版本、Scala二进制兼容性、SLF4J日志绑定机制及多层环境变量语义的分布式计算引擎。其运行原理根植于Java类加载顺序、进程模型差异(如pyspark与spark-submit的JVM隔离机制)和Hadoop生态契约。技术价值在于规避因Java小版本Bug、GC参数失配或PYTHONPATH污染导致的隐性故障;典型应用场景涵盖本地伪分布式开发、Docker容器化交付及YARN/K8s生产预检。本文聚焦Spark 3.5环境构建中Java 阅读详情

相关推荐

多种方法解决Failed to load class “org.slf4j.impl.StaticLoggerBinder“.的错误

多种方法解决Failed to load class “org.slf4j.impl.StaticLoggerBinder“.的错误

念兮为美 2万+

java.lang.ClassNotFoundException: org.slf4j.impl.StaticLoggerBinder

【代码】java.lang.ClassNotFoundException: org.slf4j.impl.StaticLoggerBinder。

xizhen2014的博客 2946

手机拍照对焦快准狠的秘密:一文看懂PDAF、Dual Pixel和Super PD的区别

本文深入解析手机拍照中的三种主流相位检测自动对焦(PDAF)技术:Shield Pixel、Super PD和Dual Pixel。通过对比它们的原理、优缺点及实际表现,帮助读者理解不同技术的对焦速度、暗光表现和画质影响,从而做出更明智的购机选择。

weixin_26985923的博客 487

spark-submit 任务提交指定类名错误解决:Error: Failed to load class

在提交spark任务的时候,若 --class参数类名指定错误会让任务无法运行。找到自己需要运行的任务,就可以直接使用spark-submit命令上传任务了。那么如果不会看文件路径的话,如何精准找出自己打包的类名呢?

xiaoxue2333的博客 3776

短信验证码接收平台完整搭建教程(超详细版,附完整源码)

在网站注册、用户登录、找回密码等功能中,验证码(特别是短信验证码)已成为验证用户身份的常见方式。本教程将详细介绍如何从零搭建一个短信验证码接收平台,用于保存、展示并管理来自短信网关或中间转发程序提交的验证码数据。✅ 教程适合有基本 Python/HTML 基础的开发者🚫 禁止用于任何违法用途,仅供学习参考✅ 支持通过 POST 接口接收短信验证码✅ 支持通过网页实时查看验证码历史记录✅ 验证码信息保存在 SQLite 数据库✅ 支持时间戳排序、查询最新验证码。

weixin_52548902的博客 4549

ESP32S3电池电量监测实战:从分压电路到IDF组件配置(附GitHub源码)

本文详细介绍了ESP32S3电池电量监测的完整实战方案。从硬件分压电路的电阻选型、滤波设计,到软件层面利用ESP-IDF的ADC校准机制提升精度,并重点讲解了如何集成bat_monitor开源组件快速实现电压采集、电量计算、充电检测与事件通知。文章提供了从原理到调试的完整指南和GitHub源码,帮助开发者构建稳定可靠的物联网设备电源管理系统。

ee345的博客 530

SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder” 解决方法

提示SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder”完整解释SLF4J解释原因为:   Failed to load class org.slf4j.impl.StaticLoggerBinder   This warning message is reported when the org.slf4j.impl...

hexin13666113593的博客 1016

嵌入式软件面试常见问题及答案

干了多年的嵌入式,被面试过,也面过不少新人,下面这些是面试中很常见的一些问题及答案,答案可以根据自己的经验自己思考下。--持续补充并更新

weixin_37553721的博客 6023

Failed to load class “org.slf4j.impl.StaticLoggerBinder“.解决办法

记录今天在学习中执行代码中遇到Failed to load class "org.slf4j.impl.StaticLoggerBinder".的报错这个报错的原因是因为没有加载这个slf4j这个类。

2301_77331760的博客 1355

二阶高通滤波器硬件设计:5种RC到有源方案对比与选型

在传感器前端和音频信号调理中,二阶高通滤波器是抑制直流偏移与低频干扰的关键模块。其设计核心围绕截止频率、品质因数Q、增益与噪声四个指标展开,其中Q值决定滤波器在转折频率附近的响应形状,如Butterworth最大平坦响应需Q=0.707。从纯无源RC电路到引入运放的有源拓扑,演变逻辑在于解决负载效应、提供增益并借助反馈提升Q值。实际工程中,RC级联、VCVS(Sallen-Key)、状态变量及回转器模拟电感等方案各有适用场景:RC电路简单但Q值受限,Sallen-Key单运放即可实现高Q,状态变量适合Q值独

weixin_32770423的博客 99

【数据结构】平行四边形数量

平行四边形个数,哈希表,散列

cyy010617的博客 4009

Error: Failed to load class demo1 提交Spark作业报错

出现在我们打包的jar包中,是以demo2命名的,所以提交demo会提示没有找到class。

Xuejiujiu的博客 2791

为ESXI Host添加v3700 FC存储

物理环境: ESXI Host version 5.1.0 Brocade SAN Switch v3700 Storage 存储和ESXI Host分别用光纤线连接在SAN交换机上 1.查询ESXI Host 的WWN号: 2. SAN交换机上查询存储的WWPN号 SAN交换机: 3.建立zone,添加到cfg文件中 brocade8Gb

haoshuwei531024的专栏 7562

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder"

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder"。出现该错误的原因是org.slf4j.impl.StaticLoggerBinder无法加载到内存中,当项目classpath找不到适合的SLF4J Binding时会出现该错误提示。

达拉斯母牛 1571

我的python学习之路

Python 是一门功能强大且易于学习的编程语言,广泛应用于数据分析、人工智能、Web 开发、自动化等领域。以下是一个 Python 学习路径的总结,帮助你系统地掌握 Python 编程。

数据知道的博客 3万+

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder”. error

当我运行一个sparkjava demo的时候,出现了下面的问题: SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.

Learning from the mistakes 724

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

SLF4J:Failed to load class org.slf4j.impl.StaticLoggerBinder.

SLF4J:Failed to load class org.slf4j.impl.StaticLoggerBinder.

leoatliang的博客 3395

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

kafak集群安装

kafak集群安装 前言 最近在利用Spark streaming和Kafka构建一个实时的数据分析系统,对图书阅读数据进行分析,做实时推荐。Spark Streaming 模块是对于 Spark Core 的一个扩展,目的是为了以高吞吐量,并且容错的方式处理持续性的数据流。目前 Spark Streaming 支持的外部数据源有 Flume、 K...

qq_15990799的博客 154

Hadoop购物行为分析实战:从HDFS存储到MapReduce计算的完整数据链路

大数据技术栈中,Hadoop凭借HDFS分布式存储与MapReduce离线计算模型,成为处理海量日志数据的经典方案。在电商场景中,用户点击、浏览、加购、下单等行为数据天然具备体量大、种类多、价值密度低等特征,正是Hadoop发挥价值的典型领域。通过构建数据仓库分层架构,利用Hive完成ETL清洗与指标聚合,再结合RFM用户分层、关联规则挖掘等分析方法,能够从行为日志中提取购买意向与商品关联规律。本文以网上购物行为分析为切入点,完整演示从模拟商城埋点采集、HDFS存储、MapReduce计算到可视化展示的工程

weixin_32296621的博客 248

spark 提交任务时出现问题

[li@storm333 spark-standalone]$ ./bin/spark-submit --class com.atguigu.spark.test.spark_Jni_VectorAdd --master spark://storm333:7077 ./MyProjects/SparkJNIVectorAdd/spark-core-1.0-SNAPSHOT.jar 21/11/26 16:14:56 WARN NativeCodeLoader: Unable to load native.

songweiren1的博客 3511

在Ubuntu下运行spark-submit 提交到spark中报错:Error: Failed to load class SimpleApp.2024-05-01 14:30:45,763 IN

确定代码没有问题,可以运行构建命令mvn clean package命令确保没有错误或警告,这可能会影响构建结果。然后再运行spark-submit提交就可以了。

weixin_45998042的博客 584

spark报错jjava.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder

完整错误 Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:756) at java.security.SecureClassLoader.defineC.

strelizia 2163

spark-sql 启动报错 Failed to load class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver

包含hadoop、hive等相关依赖。:最简打包,不强绑定其他依赖。的spark版本就能解决该报错。运行spark-sql报错。有两个版本的spark。以3.3.4版本为例。

未知的博客 378

SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder“.

1. 错误原因 这个错误是当org.slf4j.impl报道。StaticLoggerBinder类不能被加载到内存中。发生这种情况时,无法找到合适的SLF4J绑定类路径。slf4j-nop.jar放置一个(且只有一个), slf4j-simple.jar, slf4j-log4j12.jar, slf4j-jdk14.jar 或 logback-classic.jar 的类路径应该解决这个问题...

走马川行雪的博客 1万+

关于报错 SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder“ 的可能原因

→→→。

lucyLee的博客 1万+
上一篇: 大数据(三)--------完全分布式
TheGodsHand
博客等级 码龄9年 27粉丝 43原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值