Spark 启动java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module 报错

之前一直没有搞过Spark,这阵有时间,今天在搭建的过程中在启动Spark的时候发现了报错,之前以为是不是有什么配置自己没有搞清楚,最后搜索半天还是没有找到,自己试着找了一下包,Ok成功启动,在这里记下,避免其他人在这块费时间
下面是异常信息,很明显是缺少类,之前一直以为是自己没有配置清楚,没有想到是缺包,博主的是在装的伪分布版本如下

hadoop-2.6.0-cdh5.12.1.tar.gz
spark-1.6.0-cdh5.12.1.tar.gz

因为都是CDH对应的版本,压根就没想到是Jar包的问题
异常:

Exception in thread  dispatcher-event-loop-1 
java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:177)
    at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSinks$1.apply(MetricsSystem.scala:196)
	at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSinks$1.apply(MetricsSystem.scala:192)
    at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:98)
	at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:98)
    at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:226)
    at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:39)
    at scala.collection.mutable.HashMap.foreach(HashMap.scala:98)
    at org.apache.spark.metrics.MetricsSystem.registerSinks(MetricsSystem.scala:192)
    at org.apache.spark.metrics.MetricsSystem.start(MetricsSystem.scala:100)
    at org.apache.spark.deploy.master.Master.onStart(Master.scala:160)
    at org.apache.spark.rpc.netty.Inbox$$anonfun$process$1.apply$mcV$sp(Inbox.scala:121)
    at org.apache.spark.rpc.netty.Inbox.safelyCall(Inbox.scala:204)
    at org.apache.spark.rpc.netty.Inbox.process(Inbox.scala:100)
    at org.apache.spark.rpc.netty.Dispatcher$MessageLoop.run(Dispatcher.scala:217)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.Module
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 20 more
解决方案 用Maven下载下面的三个包,放到Spark的类加载路径下就可以了
    <dependency>
              <groupId>com.fasterxml.jackson.core</groupId>
              <artifactId>jackson-databind</artifactId>
              <version>2.4.4</version>
    </dependency>
    <dependency>
         <groupId>com.fasterxml.jackson.core</groupId>
         <artifactId>jackson-core</artifactId>
         <version>2.4.4</version>
     </dependency>
     <dependency>
         <groupId>com.fasterxml.jackson.core</groupId>
         <artifactId>jackson-annotations</artifactId>
         <version>2.4.4</version>
     </dependency>
### 解决 Java 中 `NoClassDefFoundError` 异常 当遇到 `java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/ObjectMapper` 错误时,这通常意味着程序运行期间找不到 Jackson 库中的 ObjectMapper 类。此类错误可能由多种原因引起,包括依赖项缺失或版本冲突。 #### 1. 检查 Maven 或 Gradle 配置文件 对于基于构建工具管理项目的开发者来说,确保 pom.xml 文件(Maven)或 build.gradle 文件(Gradle)中包含了正确的 Jackson 依赖是非常重要的[^2]: ```xml <!-- 对于 Maven --> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.8.8</version> </dependency> // 对于 Gradle implementation 'com.fasterxml.jackson.core:jackson-databind:2.8.8' ``` #### 2. 手动添加 JAR 包至项目库路径 如果项目不是通过构建工具来管理,则需手动下载并添加以下三个必要的 Jackson jar 文件到项目的 lib 目录下[^3]: - jackson-annotations-2.8.8.jar : 提供用于配置序列化行为的注解支持。 - jackson-core-2.8.8.jar : 实现 JSON 处理的核心功能。 - jackson-databind-2.8.8.jar : 支持对象与 JSON 数据之间的绑定操作。 完成上述步骤之后,记得更新 IDE 的模块设置以包含这些新加入的外部库资源。 #### 3. 清除缓存和重新部署应用服务器 有时即使已经正确设置了所有依赖关系,仍然会遭遇同样的问题。此时建议尝试清理本地仓库缓存以及重启应用程序所在的容器环境,比如 Tomcat 服务端实例[^4]。 #### 4. 排查其他潜在因素 除了缺少必要的类之外,还可能存在与其他第三方框架集成过程中产生的兼容性问题;或是由于某些安全策略限制而导致加载失败的情况发生。因此,在排查过程中也应考虑以上可能性,并采取相应措施加以排除。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值