pyspark连接数据库报No suitable driver错误

已于 2023-10-02 13:45:04 修改
阅读量437 收藏 1
点赞数 1
分类专栏： spark 文章标签： spark 大数据 python
于 2023-10-01 14:40:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_55152875/article/details/133464995
版权

pyspark连接数据库报No suitable driver错误

错误展示

py4j.protocol.Py4JJavaError: An error occurred while calling o56.save.
: java.sql.SQLException: No suitable driver
	at java.sql.DriverManager.getDriver(DriverManager.java:315)
	at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.$anonfun$driverClass$2(JDBCOptions.scala:107)
	at scala.Option.getOrElse(Option.scala:189)
	at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:107)
	at org.apache.spark.sql.execution.datasources.jdbc.JdbcOptionsInWrite.<init>(JDBCOptions.scala:217)
	at org.apache.spark.sql.execution.datasources.jdbc.JdbcOptionsInWrite.<init>(JDBCOptions.scala:221)
	at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:46)
	at org.apache.spark.sql.execution.datasources.SaveIntoDataSourceCommand.run(SaveIntoDataSourceCommand.scala:45)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult$lzycompute(commands.scala:75)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult(commands.scala:73)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.executeCollect(commands.scala:84)
	at org.apache.spark.sql.execution.QueryExecution$$anonfun$eagerlyExecuteCommands$1.$anonfun$applyOrElse$1(QueryExecution.scala:110)
	at org.apache.spark.sql.execution.SQLExecution$.$anonfun$withNewExecutionId$5(SQLExecution.scala:103)
	at org.apache.spark.sql.execution.SQLExecution$.withSQLConfPropagated(SQLExecution.scala:163)
	at org.apache.spark.sql.execution.SQLExecution$.$anonfun$withNewExecutionId$1(SQLExecution.scala:90)
	at org.apache.spark.sql.SparkSession.withActive(SparkSession.scala:775)
	at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:64)
	at org.apache.spark.sql.execution.QueryExecution$$anonfun$eagerlyExecuteCommands$1.applyOrElse(QueryExecution.scala:110)
	at org.apache.spark.sql.execution.QueryExecution$$anonfun$eagerlyExecuteCommands$1.applyOrElse(QueryExecution.scala:106)
	at org.apache.spark.sql.catalyst.trees.TreeNode.$anonfun$transformDownWithPruning$1(TreeNode.scala:481)
	at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:82)
	at org.apache.spark.sql.catalyst.trees.TreeNode.transformDownWithPruning(TreeNode.scala:481)
	at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.org$apache$spark$sql$catalyst$plans$logical$AnalysisHelper$$super$transformDownWithPruning(LogicalPlan.scala:30)
	at org.apache.spark.sql.catalyst.plans.logical.AnalysisHelper.transformDownWithPruning(AnalysisHelper.scala:267)
	at org.apache.spark.sql.catalyst.plans.logical.AnalysisHelper.transformDownWithPruning$(AnalysisHelper.scala:263)
	at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.transformDownWithPruning(LogicalPlan.scala:30)
	at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.transformDownWithPruning(LogicalPlan.scala:30)
	at org.apache.spark.sql.catalyst.trees.TreeNode.transformDown(TreeNode.scala:457)
	at org.apache.spark.sql.execution.QueryExecution.eagerlyExecuteCommands(QueryExecution.scala:106)
	at org.apache.spark.sql.execution.QueryExecution.commandExecuted$lzycompute(QueryExecution.scala:93)
	at org.apache.spark.sql.execution.QueryExecution.commandExecuted(QueryExecution.scala:91)
	at org.apache.spark.sql.execution.QueryExecution.assertCommandExecuted(QueryExecution.scala:128)
	at org.apache.spark.sql.DataFrameWriter.runCommand(DataFrameWriter.scala:848)
	at org.apache.spark.sql.DataFrameWriter.saveToV1Source(DataFrameWriter.scala:382)
	at org.apache.spark.sql.DataFrameWriter.saveInternal(DataFrameWriter.scala:355)
	at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:247)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
	at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
	at py4j.Gateway.invoke(Gateway.java:282)
	at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
	at py4j.commands.CallCommand.execute(CallCommand.java:79)
	at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182)
	at py4j.ClientServerConnection.run(ClientServerConnection.java:106)
	at java.lang.Thread.run(Thread.java:748)

解决办法

将mysql连接 jar 包放入/opt/module/jdk1.8.0_212/jre/lib/ext目录下, 即$JAVA_HOME/jre/lib/ext下
在这里插入图片描述
附上jar包下载链接
链接：https://pan.baidu.com/s/1y5MwQYUiL-w57VXQPrVsOw
提取码：1111

spark连接mysql报错 java.sql.SQLException: No suitable driver
yy的博客
03-26 3952
报错内容 spark读取mysql数据到df报错: java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$6.apply(JDBCOptions.scala:105) at org.apache.s
IDEA Maven项目连接远程数据库报错：No suitable driver found for “XXXXXXXXXXX“
qq_43437122的博客
09-27 1745
前言：好久没用JDBC了，今天想操作下Linux上的MySQL结果一直报错，错误信息如下： Exception in thread "main" java.sql.SQLException: No suitable driver found for "jdbc:mysql://hadoop02:3306/ct?useUnicode=true&characterEncoding=UTF-8" at java.sql.DriverManager.getConnection(DriverManager.
pyspark连接mysql出现An error occurred while calling o283.load: java.sql.SQLException: No suitable driver
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
06-17 781
pyspark连接mysql出现An error occurred while calling o283.load: java.sql.SQLException: No suitable driver
已解决：pyspark调用mysql 报错 java.sql.SQLException: No suitable driver
lyw5200的博客
12-17 1873
centos-python3环境下，调用pyspark库连接mysql数据库时报错：java.sql.SQLException: No suitable driver 具体如下： File "/usr/local/lib/python3.6/site-packages/pyspark/sql/readwriter.py", line 155, in load return self._df(self._jreader.load()) File "/usr/local/lib/pytho
pyspark连接MySQL出错 java.sql.SQLException: No suitable driver
helloxiaozhe的博客
07-13 7055
pyspark连接MySQL出错py4j.protocol.Py4JJavaError: An error occurred while calling o26.load.: java.sql.SQLException: No suitable driver 解决方法错误提示：Using Spark's default log4j profile: org/apache/spark/log4j-d...
pyspark连接mysql读取数据以及遇到的 No suitable driver的解决方法
qq_32834123的博客
03-31 1741
由于对pyspark 的好奇以及追求，习惯了Python 的pandas 之后，想试试pyspark 。开始了艰难的pyspark之旅。 1、数据库的连接 pyspark 连接数据库 import findspark #初始化 findspark.init() import warnings warnings.filterwarnings('ignore') from pyspark.sql im...
pyspark 连接oracle错误：java.sql.SQLException: No suitable driver
a8131357leo的博客
06-22 803
spark.read.format（）出错py4j.protocol.Py4JJavaError: An error occurred while calling o26.load. : java.sql.SQLException: No suitable driver oracle： 1. Oracle数据库在安装后一般会在$ORACLE_HOME/jdbc/lib目录中放置ojdbc*.jar等jar文件，将这些文件复制到spark集群服务器上，比如$SPARK_HOME/jars/中，然后.
spark-submit提交任务报错：java.sql.SQLException:No suitable driver
临在的博客
11-24 622
spark在集群中提交任务时如果需要连接mysql需要设定三个参数，配置连接数据库的jar包
连接数据库出错：java.sql.SQLException No suitable driver found for jdbcmysqllocalhost3306
embelfe_segge的博客
05-22 519
连接数据库出错 java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/ 今天在做Java web项目，在进行数据库连接的时候运行后报错如下： java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/db_mydb?characterEncoding=utf8&useSSL=false at
JDBC常见异常(4)—No suitable driver found for url
最新发布
梦凝哲雪
05-31 3608
如果你使用的是IDE（如Eclipse或IntelliJ IDEA），可以将JDBC驱动器的JAR文件拖放到项目的"libs"或"dependencies"文件夹中。确保hostname是数据库服务器的地址，port是监听端口（通常是1521），service_name是你要连接的数据库的服务名。1、确保Oracle JDBC驱动程序（如ojdbc8.jar或类似的文件）已经被添加到项目的类路径中。7、如果你在使用数据源（如在一个应用服务器中），确保数据源配置正确，并且包含了正确的驱动类名。
服务器出现java.sql.SQLException No suitable driver found for 的.pdf
12-05
“java.sql.SQLException: No suitable driver found for”这一异常表示在尝试建立数据库连接时，系统未能找到能够处理特定URL的合适驱动程序。这可能是由于缺少必要的JDBC驱动、驱动未正确加载、驱动与当前环境不...
idea连接mysql数据库（报错java.sql.SQLException: No suitable driver found for jdbc）
YueQiong的博客
02-03 2654
不是maven版 1.把你电脑安装的数据库对应的jar包复制粘贴到项目名那里。 2.右击，add as library,确定 3.新建class，代码如下 import java.sql.*; public class jdbcdeno1 { public static void main(String[] args){ //DriverManager数据库链接 // try(Connection connection= DriverManager.getConnect
spark-submit 报错：No suitable driver 最终解决方案（测试通过）
Java_Man_China的博客
01-23 1万+
最近一个Scala项目，开发完成后，在Scala IDE上调试通过，提交到集群后一直报错如下： 提交的命令为： 特地将mysql驱动包copy到spark-submit目录下，但是依旧报上诉错误。 在各大博客网站上寻找答案，发现答案千篇一律，几乎都行不通。最后在stackoverflow中找到了答案： 注意：–jars --driver-class-path --conf 少一样都...
解决 Java 错误 Java.Sql.SQLException: No Suitable Driver
迹忆客
03-13 8498
本篇文章介绍了 Java 中的错误。
no suitable Driver
iamaboyy的专栏
06-22 1万+
出现no suitable Driver的错误很多， 有没有加数据库驱动，或者spring 的 applicationContext.xml中数据库连接池的配置信息是否出错。 对于后者，要注意两点。 一是：xml中属性值中的某些符号得用字符实体替换。 xml中预定义的字符实体为： &      & &aops;     ' >            > <
sparkSession-连接mysql报错-java.sql.SQLException: No suitable driver-python-pyspark-dataframe
qq_33440853的博客
01-12 774
如图所示 pyspark连接mysql代码 运行时报错 java.sql.SQLException: No suitable driver 意思是没有mysql驱动包。报的是java错误，判断是pyspark调用java-jar包去连接mysql。 解决方式： 将mysql连接驱动包放到系统环境变量JAVA_HOME目录下的jre\lib\ext下边就可以了。报错得以解决 我的驱动包是mysql-connector-java-5.1.37.jar。 ...
spark-submit报错:Exception in thread “main“ java.sql.SQLException:No suitable driver
主要分享大数据相关的知识，如Spark、Hudi
05-09 8695
最近写了一个用spark连接oracle,然后将mysql所有的表保存到hive中的程序，在本地eclipse里运行没有问题，想在集群上跑一下，看看在集群上性能如何，但是用spark-submit 提交程序时抛出一个异常Exception in thread “main” java.sql.SQLException: No suitable driver，一开始以为spark-submit提交时找不到oracle 驱动jar,折腾了半天才发现是代码问题。...
spark-sql报Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://xxx:3306
Tai_Park
02-23 1810
在运行./spark-shell连hive的时候能够运行，但是运行./spark-sql的时候报错如下： Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://hadoop000:3306/hadoop_hive?createDatabaseIfNotExist=true at java.sql...
java.sql.SQLException: No suitable driver 解决办法！
热门推荐
D_Energy的博客
09-15 3万+
eclipse的maven企业项目中，如果你Maven库配置OK了，Tomcat没问题的话。 项目运行不起来并且报：java.sql.SQLException: No suitable driver 异常 可能就是以下的错误： ①、连接URL格式出现了问题(Connection conn=DriverManager.getConnection("jdbc:mysql://localhos
idea连接mysql数据库 No suitable driver found
12-30
在使用IntelliJ IDEA连接MySQL数据库时出现"No suitable driver found"异常的原因可能是没有正确导入JDBC驱动jar包或者没有正确配置数据库连接。 解决方法如下： 1. 确保已经下载了MySQL的JDBC驱动jar包。你可以从MySQL官方网站或者Maven仓库下载。 2. 在IntelliJ IDEA中打开你的项目，右键点击项目名称，选择"Open Module Settings"。 3. 在弹出的窗口中，选择"Libraries"选项卡，然后点击"+"按钮添加JDBC驱动jar包。 4. 在项目的代码中，使用以下代码加载JDBC驱动： ```java Class.forName("com.mysql.jdbc.Driver"); ``` 5. 确保你已经正确配置了数据库连接信息，包括数据库URL、用户名和密码。你可以在代码中使用以下代码创建数据库连接： ```java String url = "jdbc:mysql://localhost:3306/mydatabase"; String username = "root"; String password = "password"; Connection connection = DriverManager.getConnection(url, username, password); ``` 请注意，上述代码中的URL、用户名和密码需要根据你的实际情况进行修改。 6. 确保你的MySQL服务器正在运行，并且可以通过指定的URL和凭据进行访问。 以下是一个示例代码，演示了如何在IntelliJ IDEA中连接MySQL数据库： ```java import java.sql.*; public class Main { public static void main(String[] args) { try { Class.forName("com.mysql.jdbc.Driver"); String url = "jdbc:mysql://localhost:3306/mydatabase"; String username = "root"; String password = "password"; Connection connection = DriverManager.getConnection(url, username, password); System.out.println("Connected to the database!"); // 执行数据库操作... connection.close(); } catch (Exception e) { e.printStackTrace(); } } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值