sparkshell运行sql报错： java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

最新推荐文章于 2024-06-06 13:20:41 发布
最新推荐文章于 2024-06-06 13:20:41 发布
阅读量422 收藏 1
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/spicy/p/9754123.html
本文详细介绍了如何通过下载并配置mysql-connector-java-5.1.27-bin.jar驱动，将其放置于Spark安装目录下的jars文件夹，实现SparkSQL与MySQL数据库的连接操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

下载msyql的连接driver

https://download.youkuaiyun.com/download/xz360717118/10662304

把其中一个：

mysql-connector-java-5.1.27-bin.jar

放到了spark安装目录下的jars文件夹下面 并且分发给所有的机器；

这样就可以让sparksql执行的时候操作mysql数据库了

 

转载于:https://www.cnblogs.com/spicy/p/9754123.html

PySpark访问MySQL失败：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
枫叶的落寞的博客
06-06 4533
PySpark访问MySQL失败：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
解决java.lang.ClassNotFoundException: com.mysql.jdbc.Driver问题（真实有效）
热门推荐
向小凯同学学习
06-29 3万+
数据库驱动找不到 这个一场特别奇葩，既然这个异常存在，竟然又能编译通过，项目也不报错，只是在启动的时候，抛出异常！ 一、看看这个异常 Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled. 2018-06-29 19:...
【Spark】集群运行报错 --- java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
懂得一千零一种,赋予你失败的方法！
08-20 1904
报错 集群模式运行Spark的jar包时jdbc连接错误，无法连接数据库，我的数据库版本是5.x Caused by: java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.C.
spark java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
piaodexin的博客
08-12 4107
在用spark连接mysql数据库时出现java.lang.ClassNotFoundException: com.mysql.jdbc.Driver报错，可以 通过设置–driver-class-path /path/mysql-connector-java-5.1.46.jar来完美解决 /home/hadoop/spark/spark-2.4.0-bin-hadoop2.7/bin/spar...
pyspark中使用mysql jdbc报错java.lang.ClassNotFoundException: com.mysql.jdbc.Driver解决
wakeup_high的博客
06-06 678
报错信息：我的解决方法：我的mysql最开始是8.0.36，发现没有这个jar包所以就卸载了这个mysql然后重装了8.0.33，安装教程都安装完成后，将jar包拖进你下就开始解决这个报错。
Spark报错：ClassNotFoundException: com.mysql.jdbc.Driver和Public Key Retrieval is not allowed
zhengzaifeidelushang的博客
05-16 1172
Spark报错：ClassNotFoundException: com.mysql.jdbc.Driver和Public Key Retrieval is not allowed 执行下面这条往mysql数据库插入数据的语句，触发了下面两条错误： data_df.write.jdbc(url,tablename,'append', prop) 错误一： ClassNotFoundException: com.mysql.jdbc.Driver 解决方法： 把mysql的jar包mysql-conne
eclipse 报错java.lang.ClassNotFoundException: com.mysql.jdbc.Driver错误解决
12-14
一：查看你下载的MySQL和mysql-connector-java，如果不对应的话肯定会报错。 对应规则： mysql-connector-java-5 Connector/J version Driver Type JDBC version MySQL Server version Status 5.1 4 3.0, 4.0...
安装hive初始化元数据库时发生java.lang.ClassNotFoundException : com.mysql.cj.jdbc.Driver
qq_65303368的博客
02-12 995
如果我们在项目中配置的driver-class-name为com.mysql.cj.jdbc.Driver，则对应的mysql-connector-java版本应该是6.x。如果我们在项目中配置的driver-class-name为com.mysql.jdbc.Driver，则对应的mysql-connector-java版本应该是5.x。百度后得知，5.x和6.x的版本的Driver类路径不一样所以导致了这个报错。jar包存在，但是找不到，我想可能是版本问题，于是开始百度。修改完成后再次尝试初始化。
jsp连接数据库出现java.lang.ClassNotFoundException: com.mysql.jdbc.Driver异常以及不同情况的排错解决方法
Xmumu_的博客
10-31 4378
今天在开心的写项目的时候，我想在jsp页面上测试一下我连接数据库成功没有，所以呢，今天又是排错成功的一天，所以写篇博客小小庆祝一下???? 以下是我在index.jsp上写好了代码： <%@ page import="java.sql.Connection" %> <%@ page import="java.sql.DriverManager" %> <%@ page import="java.sql.SQLException" %><%-- Created
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
皓月星辰
07-24 221
折腾了一上午，找到了这错误的原因。哎……悲剧！   总结一下：        1.检查MySQL驱动包有问题没，在网上下载的MySQL驱动包有可能会出问题。尽量下载那种压缩包。我曾经就连着下载了好几个jar包都出问题，最后又一次下载了个 压缩包。而不是直接的jar包才解决，由于压缩包不会那么easy丢失文件。       2.假设MySQL和MyEclipse不是装在同一台机器上，或者是My...
【大数据开发】运行Spark集群模式时jdbc连接错误，报java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
白色风车
10-14 1321
运行Spark时jdbc连接错误 无法连接数据库，我的数据库版本是8.0.17 使用的url: String = “jdbc:mysql://10.20.152.64:3306/mydb1?serverTimezone=UTC” org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in
pyspark报错java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
微电子学与固体电子学-俞驰
05-03 3996
完整报错如下: Traceback (most recent call last): File "<stdin>", line 6, in <module> File "/home/appleyuchi/bigdata/spark-2.3.1-bin-hadoop2.7/python/pyspark/sql/readwriter.py", line 703, i...
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver报错
s1122334455666的博客
04-17 303
参考 https://blog.csdn.net/huangbiao86/article/details/6428608#commentBox
关于java.lang.ClassNotFoundException: com.mysql.jdbc.Driver的解决方案
qq_33414506的博客
06-05 409
问题前提：今天写了一个简单的小demo，是一个简单的java web登录界面，连接mysql数据库，来验证数据库的数据，做到登录的效果。碰到了java.lang.ClassNotFoundException: com.mysql.jdbc.Driver的问题；首先我用的是idea；1.确定mysql-connector-java-5.1.7-bin.jar是在WEB-INF的lib下2.在web项...
spark启动错误： java.lang.ClassNotFoundException: org.apache.parquet.Log
BearJ的博客
05-30 2606
报错信息: Exception in thread "main" java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat could not be instantiated at java.util.ServiceLoader.fai
Javaweb开发解决执行错误java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
armarm9的博客
07-24 506
在Javaweb开发中需要连接mysql数据库，当执行以下代码Class.forName("com.mysql.jdbc.Driver");时报以下错误java.lang.ClassNotFoundException: com.mysql.jdbc.Driver String SERVANDDB = "jdbc:mysql://localhost:3306/te...
写spark的时候报错java.lang.ClassNotFoundException: javax.servlet.ServletContext
m0_58035880的博客
11-22 128
spark配置
pyspark案例系列10-java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
只是甲的博客
06-15 758
spark 连接mysql报错
dinky数据源添加报错：com.mysql.cj.jdbc.Driver java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
最新发布
03-20
### Dinky 数据源配置 MySQL 驱动 `com.mysql.cj.jdbc.Driver` 的解决方案 在处理 Dinky 中添加数据源时遇到的 `java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver` 问题，通常是因为缺少正确的 JDBC 驱动程序或者驱动版本不匹配。以下是详细的分析和解决方法： #### 1. **确认使用的 MySQL 驱动版本** 如果使用的是较新的 MySQL 连接器（如 8.x 版本），则应该使用 `com.mysql.cj.jdbc.Driver` 类作为 JDBC 驱动类名[^3]。旧版驱动（如 5.x）可能仍然支持 `com.mysql.jdbc.Driver`，但在新版本中已被弃用。 #### 2. **下载并导入正确的 MySQL 驱动 JAR 文件** 确保已从官方站点下载最新版本的 MySQL Connector/J 并将其正确引入项目中。例如，在 Maven 项目中可以添加如下依赖项： ```xml <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.33</version> <!-- 替换为实际需要的版本 --> </dependency> ``` 对于非 Maven 项目，则需手动将对应的 JAR 文件放入项目的库路径下，并确保其被加载到运行环境中的 CLASSPATH 中[^4]。 #### 3. **验证 IDE 或构建工具设置** 在 IntelliJ IDEA 中开发时，可以通过以下方式检查是否正确添加了依赖： - 打开菜单栏中的 `File -> Project Structure...` - 转至 `Libraries` 页面，确认是否存在 MySQL 驱动的相关条目。 - 若未找到对应条目，请点击右侧的加号按钮 (`+`) 添加外部 JAR 文件或模块依赖。 #### 4. **调整应用程序启动参数** 当通过命令行或其他脚本启动应用时，应显式指定包含 MySQL 驱动所在的目录位置。例如： ```bash java -cp .:/path/to/mysql-connector-java-8.0.33.jar your.MainClass ``` #### 5. **更新数据库连接 URL 和属性** 使用现代 MySQL 驱动时，推荐采用如下形式定义连接字符串： ```properties jdbc:mysql://localhost:3306/your_database?useSSL=false&serverTimezone=UTC ``` 同时注意设置合适的驱动名称以及必要的初始化参数以适配目标服务器环境需求[^2]。 #### 示例代码片段展示如何建立基本连接过程： ```java import java.sql.Connection; import java.sql.DriverManager; public class DatabaseConnectionExample { public static void main(String[] args) throws Exception { String url = "jdbc:mysql://localhost:3306/testdb"; String user = "root"; String password = ""; try (Connection conn = DriverManager.getConnection(url, user, password)) { System.out.println("Connected successfully!"); } catch (Exception e) { e.printStackTrace(); } } } ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值