运行spark示例Pi可能出现的问题及解决

最新推荐文章于 2023-12-04 17:27:36 发布

岸芷汀兰whu

最新推荐文章于 2023-12-04 17:27:36 发布

阅读量4.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： scala spark idea

本文链接：https://blog.youkuaiyun.com/u012432611/article/details/47274249

spark 专栏收录该内容

66 篇文章

订阅专栏

在使用IntelliJ运行SparkPi时遇到的错误解决方法，包括设置本地单线程运行和调整Scala与Spark版本一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天看了部分Spark的官方文档，spark实战高手之路（4）在IntelliJ中，我尝试运行了SparkPi，整个过程遇到一些问题

首先是当我把相关的包导入好后，Run，报错：

Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:185)
解决办法：在IDE中点击Run -> Edit Configuration，在右侧VM options中输入“-Dspark.master=local”，指示本程序本地单线程运行
再次运行，依旧出错：
  
   Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
at akka.actor.ActorCell$.<init>(ActorCell.scala:336)
at akka.actor.ActorCell$.<clinit>(ActorCell.scala)
at akka.actor.RootActorPath.$div(ActorPath.scala:159)
at akka.actor.LocalActorRefProvider.<init>(ActorRefProvider.scala:464)
at akka.actor.LocalActorRefProvider.<init>(ActorRefProvider.scala:452)
  
解决办法：把scala和spark的版本改为一致