一个令人惊讶的问题

原创已于 2023-01-11 09:12:58 修改 · 519 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#scala #spark #开发语言

于 2019-07-04 00:17:39 首次发布

Spark 同时被 2 个专栏收录

9 篇文章

订阅专栏

Scala

6 篇文章

订阅专栏

在使用SparkStreaming进行编程时，遇到因jar包冲突导致的NoSuchMethodError异常。本文记录了作者从发现问题到解决问题的过程，包括尝试不同IDE版本、对比pom.xml文件以及最终定位并解决冲突的具体步骤。

今天遇到了一个让我无可奈何的问题，先记录一下，等找到原因再来填坑

写spark streaming程序的时候，报了下面这个错误，大概就是jar包冲突的问题，但是看了网上的答案都没有解决

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
	at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1421)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:76)
	at com.haiyisoft.relationshipAnalysis.InterCafeTogether$.main(InterCafeTogether.scala:22)
	at com.haiyisoft.relationshipAnalysis.InterCafeTogether.main(InterCafeTogether.scala)

有意思的是我装了两个idea，上面使用idea2018.2.4不可以，于是我换了idea2017.2.5

居然问题就没有了。嗯，这肯定不是软件的问题，但是原因究竟是什么呢？

因为成功的是在另一个项目里，我对照了一下pom.xml文件没有差别，但是还是把两个项目的文件同步了一下，最终还是不行，

后来我用idea2018.2.4打开了成功的项目也是可以的！

？？？？黑人问号脸，所以就是这个项目有毒吗？

2023年更新

-------------------------

无意间看到自己发的这篇文章，已经过去好多年了，很久没用Scala写东西了，但是感觉这个问题就是idea的问题，可能是索引文件失效的问题。如图清除一下。重启idea试试。