使用spark的api读取mongo版本不兼容问题

最新推荐文章于 2024-09-18 14:29:04 发布

闲人木东

最新推荐文章于 2024-09-18 14:29:04 发布

阅读量230

点赞数

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/haohao914/article/details/102862595

版权

大数据专栏收录该内容

2 篇文章

订阅专栏

本文介绍在Spark 2.1.1版本中使用Spark API读取MongoDB 3.6.11版本数据时遇到的NoSuchMethod错误，并提供了解决方案，包括正确配置Spark以连接到MongoDB的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark版本2.1.1
mongo版本3.6.11
使用spark的api读取mongo有NoSuchMethod等此类错误。

val spark = SparkSession.builder()
  .master("local")
  .appName("MongoSparkConnectorIntro")
  .config("spark.mongodb.input.uri", "mongodb://192.168.13.23:31308/ifaas_data.tenancy0_collection_car_smallImage")
  .getOrCreate()


import com.mongodb.spark.config._
val customRdd = MongoSpark.load(spark)

customRdd.show()

解决方案：

增加用户名和密码

val spark = SparkSession.builder() .master("local") .appName("MongoSparkConnectorIntro") .config("spark.mongodb.input.uri", "mongodb://ifaas_data:introcks1234@192.168.13.23:31308/ifaas_data.tenancy0_collection_car_smallImage") .getOrCreate()