pyspark An error occurred while calling o30.jdbc. java.lang.ClassNotFoundException: com.mysql.jdbc.

最新推荐文章于 2024-07-21 10:31:20 发布

原创最新推荐文章于 2024-07-21 10:31:20 发布 · 6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark #java.lang.ClassNotFoundExcepti #py4j.protocol.Py4JJavaError #com.mysql.jdbc.Driver

spark 同时被 2 个专栏收录

32 篇文章

订阅专栏

python

2 篇文章

订阅专栏

本文介绍了解决Pyspark读取MySQL时遇到的Driver未找到错误的方法。通过在Spark的jars目录下添加mysql-connector-java.jar包，可以有效解决ClassNotFound异常，实现数据的顺利读取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.pyspark读取mysql错误

from pyspark.sql import SparkSession

if __name__ == '__main__':

    spark = SparkSession.Builder() \
        .appName('t') \
        .master('local') \
        .getOrCreate()

    url = 'jdbc:mysql://localhost:3306/db'
    property = {
        'user': '***', 'password': '***', 'driver': 'com.mysql.jdbc.Driver'
    }
    spark.read.jdbc(url=url, table='a', properties=property).show()
    spark.stop()

1.1 File "lib\site-packages\py4j\protocol.py", line 319, in get_return_value
format(target_id, ".", name), value)
py4j.protocol.Py4JJavaError: An error occurred while calling o30.jdbc.

: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

这种问题直接在%SPARK_HOME%/jars 添加mysql-connector-java-5.1.39.jar 包直接解决

注意：当然也可以不用写driver