SCALA中使用Map时报错recursive value config needs type

最新推荐文章于 2025-12-04 16:08:31 发布

原创最新推荐文章于 2025-12-04 16:08:31 发布 · 2.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala

项目笔记同时被 2 个专栏收录

2 篇文章

订阅专栏

报错

2 篇文章

订阅专栏

在Scala中配置Spark时遇到一个错误，问题出在使用Map存储配置并尝试创建SparkConf对象时，由于存在一个与Map变量同名的隐式变量导致加载顺序冲突。通过删除隐式变量的类型声明，成功解决了该问题，使得SparkConf能够正确初始化。

SCALA中使用Map时报错recursive value xxx needs type

首先我定义了一个map来存放一些连接配置，并且创建sparkConf对象


val config = Map(
      "spark.cores" -> "local[*]",
      "mongo.uri" -> "mongodb://hdp1:27017/movie_recommender",
      "mongo.db" -> "movie_recommender",
      "es.httpHosts" -> "hdp1:9200",
      "es.transportHosts" -> "hdp1:9300",
      "es.index" -> "movie_recommender",
      "es.cluster.name" -> "hdp1"
    )

//创建sparkConfig
    val sparkConf = new SparkConf().setMaster(config("spark.cores")).setAppName("DataLoader")