spark读mongo

程序员拿破仑

于 2019-11-20 09:26:32 发布

阅读量695

点赞数

分类专栏：大数据文章标签： spark mongo

本文链接：https://blog.youkuaiyun.com/Cazzzz/article/details/103156069

版权

本文介绍了如何使用Spark的Python API通过mongo-spark连接器读取MongoDB数据，强调了在提交Spark作业时设置'--packages'参数的重要性。同时，讨论了在读取大表时可能存在的性能问题，以及DataFrame进行SQL操作的两种方法，但未明确这两种方法的优缺点或等价性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark读取mongo数据（python）

使用mongo官方提供的spark connector可以很方便的让spark读写mongo中的数据。

示例：

from pyspark.sql import SparkSession
from pyspark import SparkConf


if __name__=='__main__':
    myconf = SparkConf()
    myconf.setAppName("test").setMaster("yarn")
    myconf.set('spark.executor.instances','4')
    myconf.set('spark.executor.memory','4G')
    myconf.set('spark.executor.cores','4')
    myconf.set('spark.task.cpus',&