spark处理mongodb数据（python版）

最新推荐文章于 2025-06-05 21:10:03 发布

原创

最新推荐文章于 2025-06-05 21:10:03 发布 · 1.1w 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#mongodb #spark #github

本文介绍了如何使用Spark处理MongoDB数据，比较了官方和第三方连接器的优缺点。在获取数据时，官方连接器利用条件下降推提高性能，而在写入数据时，第三方连接器支持在原有表基础上进行更新。详细内容包括连接器的选择、使用方法及安装步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

mongodb是一种文档型数据库，作为一个适用于敏捷开发的数据库，mongodb的数据模式可以随着应用程序的发展而灵活地更新。但是mongodb适合一次查询的需求，对于统计、分析（尤其是在需要跨表、跨库的情况下）并不是太方便，我们可以用spark来处理mongodb数据。架构图如下：

我使用的spark版本是spark-1.6.2，mongodb版本是3.2。我主要接触了以下两种连接器：

1、mongodb官方连接器

github地址：https://github.com/mongodb/mongo-spark

mongodb官方文档：https://docs.mongodb.com/spark-connector/

api文档（java版）：https://www.javadoc.io/doc/org.mongodb.spark/mongo-spark-connector_2.11/2.0.0

加载mongodb数据的方式如下：

from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
sc = SparkContext()
ctx = SQLContext(sc)
test_collection = ctx.read.format("com.mongodb.spark.sql").options(uri="mongodb://192.168.0.1:27017", database="test_db", collection="test_collection").load()

这样就把指定的mongodb实例中的test_db库中的test_collection表加载到了spark中。可以使用以下代码查看表的格式，查看第一行数据：

test_collection.printSchema()
test_collection.first()

上面的这种方式加载时间较长，因为spark需要判断各个字段的类型，需要抽取部分数据判断（或者扫描整个表，我没有具体的研究过，总之比较慢）。而且这种方式会将所有的数据加载进来，有些字段我并不需要获取到。可以用下面的代码改进：

fields_list = "name age sex grade exp"
fields = [StructField(field_name, StringType(), True) for field_name in fields_list.split()]
schema = StructType(fields)
test_collection = job_ctx.read.schema(schema).format("com.mongodb.spark.sql").options(uri="mongodb://192.168.0.1:27017", databas