Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

最新推荐文章于 2022-07-12 13:32:29 发布

原创最新推荐文章于 2022-07-12 13:32:29 发布 · 683 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala

大数据高并发同时被 3 个专栏收录

19 篇文章

订阅专栏

spark

1 篇文章

订阅专栏

scala

1 篇文章

订阅专栏

本文介绍了一种解决在Eclipse环境中运行Spark JavaWordCount程序时出现的NoSuchMethodError异常的方法。通过调整pom.xml文件中Spark核心组件与SQL组件的版本一致性，成功解决了这一问题。

在eclipse运行spark的JavaWordCount，报错Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

经查，是pom.xml中spark版本不一致造成

原来的配置

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>2.2.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.11</artifactId>
      <version>2.3.0</version>
    </dependency>

正确的配置

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>2.2.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.10</artifactId>
      <version>2.2.0</version>
    </dependency>