scala报 Exception in thread "main" java.sql.SQLException: No suitable driver

Spark JDBC驱动配置

最新推荐文章于 2023-04-05 10:51:27 发布

原创最新推荐文章于 2023-04-05 10:51:27 发布 · 5.2k 阅读

5 ·

CC 4.0 BY-SA版权

mysql 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了一个常见的Spark应用程序问题，即Spark无法找到JDBC驱动导致的SQLException。通过在属性配置中明确指定驱动类名，可以轻松解决此问题。

问题描述

在程序中用到了从数据库中读数据，在本地测试的时候没有问题。但是提交到spark上运行就会报错：
Exception in thread “main” java.sql.SQLException: No suitable driver
就是spark-submit找不到jdbc的驱动

解决方法

解决方法也很简单，那就是告诉它，让它找到就行了。
在代码中，jdbc配置的地方加上下面这一行就行了。

prop.setProperty("driver", "com.mysql.jdbc.Driver")

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

tang_xiaotang

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark连接mysql报错 java.sql.SQLException: No suitable driver

yy的博客

03-26

4111

报错内容 spark读取mysql数据到df报错: java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$6.apply(JDBCOptions.scala:105) at org.apache.s

spark-submit提交任务报错：java.sql.SQLException:No suitable driver

AnameJL的博客

04-13

2400

提交spark任务时一直报错:No suitable driver 提交任务命令如下 spark-submit \ --driver-class-path /opt/sparkJob/mysql-connector-java-5.1.47.jar \ --master yarn \ --deploy-memory cluster \ --driver-memory 4G \ --executor-memory 2G \ --total-executor-cores 12 \ --class com.xxx.

1 条评论您还未登录，请先登录后发表或查看评论

spark-submit以集群方式提交应用报错：Exception in thread "main" java.sql.SQLException: No suitable driver

GulfMoon

05-15

1812

一、问题背景因现场项目临近上线，在现场测试环境部署后台程序时候出现各种奇怪的问题，这些都是在公司内部测试环境都没有遇到过的，很有记录下来的必要。 Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中，以yarn-client模式提交执行报错： Exception in thread "main" java.sql.SQLException: No suitable ...

spark-submit报错:Exception in thread “main“ java.sql.SQLException:No suitable driver

主要分享大数据相关的知识，如Spark、Hudi

05-09

8749

最近写了一个用spark连接oracle,然后将mysql所有的表保存到hive中的程序，在本地eclipse里运行没有问题，想在集群上跑一下，看看在集群上性能如何，但是用spark-submit 提交程序时抛出一个异常Exception in thread “main” java.sql.SQLException: No suitable driver，一开始以为spark-submit提交时找不到oracle 驱动jar,折腾了半天才发现是代码问题。...

Exception in thread "main" java.sql.SQLException: No suitable driver

gucapg的专栏

05-30

1万+

spark写入结果集至MySQL时报以下错误信息，记录下，供各位同行快速解决问题 spark dataframe结果数据保存至MySQL时报以下错误信息，而读取时没有问题错误1：驱动找不到 Exception in thread "main" java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDrive...

Exception in thread “main“ java.sql.SQLException: No suitable driver

Knight

11-16

1555

报错原因没有导入mysql的依赖解决方案增添依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>${mysql.version}</version> </dependency>

(已解决)spark-submit报错Exception in thread “main“ java.sql.SQLException: No suitable driver found

weixin_54218079的博客

11-07

1503

解决linux 下执行spark-submit报错Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql

Exception in thread main java.lang.NoClassDefFoundError错误解决方法

09-01

`Exception in thread "main" java.lang.NoClassDefFoundError` 是Java编程中常见的一个运行时异常，通常发生在尝试运行一个Java程序时，如果JVM找不到在类路径（ClassPath）中定义的主要类（主类，即包含`public ...

记录因为yml而产生的坑：java.sql.SQLException: Access denied for user ‘root’@’localhost’ (using password: YES)

01-19

java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES) 提示的是用户访问被拒绝，原因是密码不正确，但是我们明明配置的是正确的密码，原因就在yml中： spring: datasource: ...

【已解决】Exception in thread “main“ java.lang.InternalError: Malformed class name

雷恩Layne

07-22

2203

java.lang.InternalError: Malformed class name解决方法最近在写Spark程序时，出现如下错误： Exception in thread "main" java.lang.InternalError: Malformed class name at java.lang.Class.getSimpleName(Class.java:1330) at org.apache.spark.sql.execution.aggregate.ScalaUDAF.toStri

MYSQL Exception in thread “main“ java.sql.SQLException: No suitable driver found for jdbc:mysql://ma

80后大叔爱学习

09-19

3413

我是maven工程，查看MySQL依赖版本是否过低，我用的5.1.7报错，修改为5.1.17就OK了

连接数据库出错：java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/

热门推荐

菜鸟的后花园

06-28

12万+

连接数据库出错 java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/ 今天在做Java web项目，在进行数据库连接的时候运行后报错如下： java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3...

Exception in thread “main” java.sql.SQLException: No suitable driver

weixin_30367945的博客

12-02

1421

问题背景：通过Spark SQL的jdbc去读取Oracle数据做测试，在本地的idea中没有报任务错误。但是打包到集群的时候报： Exception in thread “main” java.sql.SQLException: No suitable driver 测试代码： defread(spark: SparkSession):DataFrame= { ...

spark运行任务时报错：Exception in thread “main“ java.sql.SQLException: No suitable driver

2301_77331760的博客

04-05

551

今天在跑spark代码的时候，遇到这个报错，我回去看了几遍代码都觉得代码没问题，后来看到。缺少驱动，我在建立mysql连接的时候，加上了。这篇博客问题得到解决。

使用Impala读取Kudu表数据运行程序报错：java.sql.SQLException: No suitable driver

weixin_41890247的博客

07-22

482

错误信息如下： Exception in thread "main" java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JDBCOption...

数据库连接时一个异常的处理：java.sql.SQLException: No suitable driver found for

wangts的专栏

09-11

2万+

java.sql.SQLException: No suitable driver found for这个异常的发生，原因有二：一，在可寻的路径下没有合适的数据库驱动。二，数据库连接时提供的url不正确。通常，一的情况不常发生，因为我们连接数据库不会不安装驱动，而且驱动的路径也基本不是问题。多数是数据库连接的url不正确。而这种情况最常发生在从配置文件里读取url、用户名、密

【scala】Exception in thread "main" java.lang.NoSuchMethodError: scala.runtime

voidfaceless的博客

11-27

912

报错Exception in thread “main” java.lang.NoSuchMethodError: scala.runtime. ObjectRef.create (Ljava/lang/Object;) Lcala/runtime/ObjectRef; 原因是因为你使用的依赖包中的scala版本和运行环境中的scala版本不一致。查看依赖的包的scala版本，统一即可。 ...

实操 JDBC 连接 MySql 数据库，异常 java.sql.SQLException：No suitable driver found for jdbc:..（Java 从自学到就业第20天）

学Java的小前端的博客

06-17

5171

Java 学习记录第二十天由于本渣渣是前端转行Java，所以编辑器的选择就直接用 webstorm 同公司的 idea 接下来的知识梳理有一部分会借鉴大佬廖雪峰的博客学习目标了解 JDBC 原理，并实际操作连接 MySql 数据库学习内容简述 JDBC 概念实操 JDBC 连接 MySql 数据库使用 JDBC 执行数据库 CRUD 操作简述 JDBC 概念什么是JDBC？JDBC是Java DataBase Connectivity的缩写，它是Java程序访问数据库的

scala整合java 报错 java.sql.SQLException: No suitable driver

11-07

4. 您还可以尝试将JDBC驱动程序的路径添加到SparkConf对象中的spark.driver.extraClassPath和spark.executor.extraClassPath属性中。如果上述方法都无法解决问题，您可以尝试按照以下步骤解决问题： 1. 下载mysql-...