Python(pyspark) only supports DataFrames and not RDDs

最新推荐文章于 2024-04-02 00:55:55 发布

原创最新推荐文章于 2024-04-02 00:55:55 发布 · 295 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Mongo Spark

Spark 同时被 2 个专栏收录

32 篇文章

订阅专栏

Python

13 篇文章

订阅专栏

博客介绍了使用Mongo Spark Connector连接Python（pyspark）和MongoDB时遇到的问题，报错显示类未找到。原因是Mongo Spark Connector对Python只支持DataFrames，不支持RDD。若想用Python保存RDD到MongoDB，推荐使用pyMongo库，并给出了相关参考链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、背景

用Mongo Spark Connector 来连接 python（pyspark）和MongoDB：

二、问题

报下面错误：

Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.saveAsNewAPIHadoopFile.
: java.lang.ClassNotFoundException: com.mongodb.hadoop.io.BSONWritable
   at java.net.URLClassLoader$1.run(URLClassLoader.java:435)
   at java.net.URLClassLoader$1.run(URLClassLoader.java:424)
   at java.security.AccessController.doPrivileged(Native Method)
   at java.net.URLClassLoader.findClass(URLClassLoader.java:423)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:493)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:426)
   at java.lang.Class.forName0(Native Method)
   at java.lang.Class.forName(Class.java:344)

三、办法

Mongo Spark Connector 对python 只支持 DataFrames，不支持RDD

如果想用Python保存RDD到MongoDB，推荐用 pyMongo 库

Python support for Spark is only supported via DataFrames by design. Because unlike DataFrames, there is no Spark API that hooks in at the RDD level from python into the JVM.

If you want to just use RDD's in python and cannot use DataFrames, then I would recommend using the pyMongo library directly in your python code and save the data through the native python API.

Mongo Spark Connector： https://docs.mongodb.com/spark-connector/master/

mongo-hadoop ： https://github.com/mongodb/mongo-hadoop/