Spark整合Mongodb

最新推荐文章于 2024-01-18 02:06:24 发布

coley-wu

最新推荐文章于 2024-01-18 02:06:24 发布

阅读量5.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： mongodb spark

本文链接：https://blog.youkuaiyun.com/soul_code/article/details/78523140

spark 专栏收录该内容

15 篇文章

订阅专栏

本文介绍如何使用Spark连接并操作MongoDB数据库。首先演示了MongoDB的安装与启动过程，接着配置了Spark项目的依赖，并提供了具体的代码示例，展示了如何通过Spark读写MongoDB中的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境准备
1. mongodb下载
2. 解压安装
3. 启动mongodb服务

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log

pom依赖

     <dependency>
      <groupId>org.mongodb.spark</groupId>
      <artifactId>mongo-spark-connector_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>

实例代码

 object ConnAppTest {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .master("local[2]")
      .appName("ConnAppTest")
      .config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入
      .config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出
      .getOrCreate()
    // 生成测试数据
    val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}")))
    // 存储数据到mongodb
    MongoSpark.save(documents)
    // 加载数据
    val rdd = MongoSpark.load(spark)
    // 打印输出
    rdd.show
  }
}