运行spark程序出现java.lang.exceptionininitializererror的问题

最新推荐文章于 2024-05-02 17:51:49 发布

佳钰小甜心

最新推荐文章于 2024-05-02 17:51:49 发布

阅读量2.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：问题解决方案文章标签： jdk 大数据 java scala spark

本文链接：https://blog.youkuaiyun.com/weixin_45401713/article/details/115110880

问题解决方案专栏收录该内容

3 篇文章

订阅专栏

博客讲述了作者在使用Scala插件2.12.13时遇到的问题，该问题在Spark 3.1.1环境中尤为显著。尽管Spark依赖的是`spark-core_2.12`，但仍然导致了长时间的解决过程。解决方案未在内容中详述，但暗示可能涉及版本兼容性调整和环境配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可能是版本冲突

自用的是scala插件装2.12 可能装2.12.13都会有问题（解决问题用了很久很久很久。。。哭泣）

spark为3.1.1

 <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.12</artifactId>
      <version>3.1.1</version>
 </dependency>

SDK为1.8

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

佳钰小甜心

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

IDEA：Caused by: java.lang.NullPointerException: inStream parameter is null

林炫的博客

04-06

1415

IDEA：Caused by: java.lang.NullPointerException: inStream parameter is null

解决idea运行spark出现 java.lang.ExceptionInInitializer错误

Zs1017a_kola的博客

05-18

818

Spark和Java版本的不兼容。idea中用的JDK版本太高。

1 条评论您还未登录，请先登录后发表或查看评论

spark java.lang.ExceptionInInitializerError 累加器使用

qq_41875667的博客

07-29

1387

记一次spark 累加器使用记录正确代码： object SparkTest { val sparkConf: SparkConf = new SparkConf() .setMaster("local[3]") .setAppName("Test") val session: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate() val longAccumulator:

在本地cmd中执行Spark-shell报错：Exception in thread “main“ java.lang.ExceptionInInitializerError

qq_64078377的博客

10-10

1356

本地执行spark-shell报错

记一次CDH6.3.2 spark 执行出现错误，出现了java.lang.ExceptionInInitializerError: null

qq_40976830的博客

07-12

1154

在进行saprk renwu 调度时候出现这个问题 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hive-jdbc-2.1.1-cdh6.3.2-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF

Spark中出现Exception in thread "main" java.lang.ExceptionInInitializerError

07-27

在Spark中出现Exception in thread "main" java.lang.ExceptionInInitializerError的错误通常是由于初始化错误引起的。根据提供的引用内容，可以看出这个错误是由于在连接HBase时出现了异常。\[1\]这个错误可能是...

spark线程“main”中的异常 java.lang.ExceptionInInitializerError

12-12

根据引用[1]中的描述，java.lang.ExceptionInInitializerError异常通常是由于静态初始化块或静态变量初始化时出现异常导致的。这个异常的根本原因是在类初始化期间，Java虚拟机(JVM)试图初始化类时，发现了一个异常...

java.lang.ExceptionInInitializerError at org.apache.spark.internal.Logging$.org$apache$spark$internal$Logging$$isLog4j12(Logging.scala:205) at org.apache.spark.internal.Logging$class.initializeLogging(Logging.scala:119) at org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Logging.scala:108) at org.apache.spark.deploy.SparkSubmit$.initializeLogIfNecessary(SparkSubmit.scala:70) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:127) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: java.lang.StringIndexOutOfBoundsException: String index out of range: -1

最新发布

07-27

我们正在处理一个由java.lang.StringIndexOutOfBoundsException: String index out of range: -1引起的java.lang.ExceptionInInitializerError。堆栈跟踪显示问题发生在Spark的日志初始化过程中，具体在Logging....

【spark-shell本地启动报java错误】本地windows安装spark在控制台输入spark-shell出错：StringIndexOutOf Bounds Exception

gdhbc的博客

05-28

961

前提：本地java、hadoop已经安装好，但本地cmd启动spark-shell报出下面错误，我的配置是hadoop2.7、spark-2.3.1。提示:没有配置好hadoop、spark(两者版本有联系，有对应)请先在本地安装好hadoop、spark。出错原因：本地java版本过高. 处理方法：降低java版本到java8。如果不想影响你之前的java环境配置，你可以在本地多安一个java，想用哪个就到环境变量里面修改路径即可。 java8百度云资源：链接: https://pan.b

Apache Spark启动spark-sql报错

终回首的博客

08-02

3027

一、问题安装好spark后，执行spark-sql报错Exception in thread “main” java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 命令 ./bin/spark-sql 报错日志： 2021-08-02 15:00:04,213 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin

Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

01-07

敲黑板，引入的依赖一定要 “compile” 或则 “runtime”，否则spark conf 无法初始化，这辈子也运行不了，千万不要是 “provided”. org.apache.spark spark-sql_2.11 ${spark.jar.version} compile 在一个maven项目中，如果存在编译需要而发布不需要的jar包，可以用scope标签，值设为provided。如下： javax.servlet.jsp jsp-api

解决:spark启动错误Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apach..

MrLevo520的博客

03-19

2万+

MacOS：Sierra 10.12.2 Spark版本：2.1.0 今天想在本地安装spark，结果按照步骤来竟然报错，问题原因spark 2.1.0需要java 7+的支持，但是Mac默认的java 是1.6的，导致运行失败，解决方案也很简单，到官网下载最新的Java JDK和JRE安装好即可，当时我只下载了jre，结果还是不行，傻逼了，下了jdk后安装好就可以了，具体安装过程如下4步ma

sparkbug解决：Exception in thread “main“ java.lang.UnsupportedOperationException: No Encoder found for

Matrix70的博客

12-04

1288

类需要一个编码器来将JVM对象序列化为内部的Spark SQL格式。而对于复杂类型（比如。或者自定义类），Spark 需要隐式的。，代码因为缺少这样的编码器，所以会导致。Spark SQL中的。

spark运行时出现错误Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD

cjlion的专栏

10-23

1万+

原因：自己在pom文件中加入 <scope>provided</scope> 此标签表示编译环境可用，运行时则不可用，主要是在打包时不将这些依赖打进来，因为服务器上有，以免包过大解决方案：本地运行时注销掉<scope>provided</scope>,reimport maven projects Exception in th...

解决java.lang.ExceptionInInitializerError

ZhiCun_java的博客

10-14

2195

开发maven项目时报java.lang.ExceptionInInitializerError 使用idea键maven项目时发现报这个错，解决办法是替换common-logging 的jar，项目可能没有直接引用这个jar,可以添加一个jar，旧版本jar会有一定冲突，在pom.xml里加上就可以了 <dependency> <groupId>commons-logging</groupId> <artifactId>commons-log

本地spark报错：java.lang.UnsatisfiedLinkError:

zl202111的博客

03-14

488

Spark学习中，运行。

Spark写入数据到本地时报错java.lang.UnsatisfiedLinkError

蚂蚁

08-08

1598

在IDEA中运行Spark程序往本地写入数据时有可能会报java.lang.UnsatisfiedLinkError的错误解决方案1：配置Hadoop Common环境变量配置这个变量的原因是因为Windows下运行大数据环境有可能会出现兼容性问题如果不配置Spark相应版本的Hadoop Common的版本，有可能就会报错所有下载Spark对应版本的Hadoop Common...

java.lang.ExceptionInInitializerError异常的正确解决方法，亲测有效果，嘿嘿嘿，已解决

PythonAigc的博客

05-02

2138

`java.lang.ExceptionInInitializerError` 异常在 Java 中表示一个错误，该错误发生在尝试初始化一个类的静态变量、静态代码块或枚举常量时。如果在执行这些初始化代码时抛出了异常，并且没有被捕获，那么 JVM 就会抛出 `ExceptionInInitializerError`。 ### 问题分析当看到这个异常时，需要意识到的是，问题不在于你正在尝试实例化或调用方法的对象，而在于类本身的初始化。这通常涉及到类的静态成员（包括静态变量和静态代码块）。 ### 报错原

java.lang.ExceptionInInitializerError异常原因及解决方法