spark遇到的坑

最新推荐文章于 2022-12-22 17:50:07 发布

原创最新推荐文章于 2022-12-22 17:50:07 发布 · 782 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#bug

大数据同时被 2 个专栏收录

17 篇文章

订阅专栏

bug鸡精

5 篇文章

订阅专栏

本文总结了在Spark编程中可能遇到的几个问题，包括内存不足、Jackson版本不兼容和Scala版本不一致。为解决内存问题，可以通过设置`spark.testing.memory`参数增加内存容量。对于Jackson版本冲突，需更新pom文件中的相关依赖。当遇到Scala版本问题导致的`NoSuchMethodError`，需检查并确保使用与Spark相同的Scala版本，并在IDEA中进行相应配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一。

提示内存不足

在代码里面添加set("spark.testing.memory","512000000")内存容量

val conf :SparkConf = new SparkConf().setAppName("SparkWordCount").setMaster("local[1]").set("spark.testing.memory","512000000")

二。

Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6

修改下pom文件，变成下面的

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka_2.11</artifactId>
  <version>2.0.0</version>
  <exclusions>
    <exclusion>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>*</artifactId>
    </exclusion>
  </exclusions>
</dependency>
  <dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-core</artifactId>
    <version>2.6.6</version>
  </dependency>
<dependency>

三。Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less

scala版本不统一造成的。

spark本身会带这scala。这个时候就需要看看这里面scala版本是多少。

怎么看呢？启动spark shell的时候会提示