spark-submit以集群方式提交应用报错:Exception in thread "main" java.sql.SQLException: No suitable driver

一、问题背景

因现场项目临近上线,在现场测试环境部署后台程序时候出现各种奇怪的问题,这些都是在公司内部测试环境都没有遇到过的,很有记录下来的必要。

Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中,以yarn-client模式提交执行报错:

Exception in thread "main" java.sql.SQLException: No suitable driver

看到这个报错的第一反应就是环境问题,ClassPath路径下没有mysql驱动包。

 

二、错误方案

由于笔者当时认为原因就是ClassPath路径下没有mysql驱动包,进行了以下操作步骤:

1. 查看系统的classpath路径下是否有驱动包

# 查看用户环境变量
cat ~/.bash_profile
# 找到export classpath的路径
# 逐个cd进去,发现没有mysql驱动包

2. 复制mysql-connector-java-5.1.39-bin.jar包到classpath所在的路径下

重新spark-submit提交应用还是报同样的错误。

3. 查看应用启动日志

INFO ZooKeeper: Client environment:java.class.path= ......

里面看到了Spark安装目录下的lib文件夹下的相关jar包,想到把mysql-connector-java-5.1.39-bin.jar包复制到这个目录下,但是还是报同样的错误。

4. 想到Spark运行应用是分布式的

因此,就想到把驱动包放到Spark集群的所有节点上。考虑到工作量的问题,想起可以在命令行中增加--jars的参数。

5. 执行命令增加--jars

--jars ./mysql-connector-java-5.1.39-b
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值