CDH5中spark写mysql报“Did not find registered driver with class com.mysql.jdbc.Driver”错误原因

最新推荐文章于 2024-01-07 00:14:38 发布

原创最新推荐文章于 2024-01-07 00:14:38 发布 · 5.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#CDH #DataFrame #Spark #Did not find registe

数据库专栏收录该内容

1 篇文章

订阅专栏

本文记录了一次使用Spark向MySQL写入数据时遇到的问题及解决过程。主要问题是由于部分Worker节点缺少MySQL驱动导致无法正常运行。通过手动部署驱动到每个Worker节点的指定目录解决了这一问题。

前几天把CDH5.7顺利的装起来了，今天想试下用spark往mysql里面写计算结果，结果老是提示“java.lang.IllegalStateException: Did not find registered driver with class com.mysql.jdbc.Driver”，用了各种方法，包括在spark-submit命令中加入 --jars 、--driver-class-path 都无法解决，都快崩溃了。

去看了下应用日志，发现driver所在的机器没有这个错误，仅仅是剩下的worker才会出现这个错误，于是判断问题的原因应该在于worker中没有mysql的驱动包，打开driver的日志，发现classpath参数是这样的“CLASSPATH -> {{PWD}}<CPS>{{PWD}}/__spark__.jar<CPS>$HADOOP_CLIENT_CONF_DIR<CPS>$HADOOP_CONF_DIR<CPS>$HADOOP_COMMON_HOME/*<CPS>$HADOOP_COMMON_HOME/lib/*<CPS>$HADOOP_HDFS_HOME/*<CPS>$HADOOP_HDFS_HOME/lib/*<CPS>$HADOOP_YARN_HOME/*<CPS>$HADOOP_YARN_HOME/lib/*<CPS>$HADOOP_MAPRED_HOME/*<CPS>$HADOOP_MAPRED_HOME/lib/*<CPS>$MR2_CLASSPATH<CPS>{{HADOOP_COMMON_HOME}}/../../../CDH-5.7.0-1.cdh5.7.0.p0.45/jars/ST4-4.0.4.jar:{{HADOOP_COMMON_HOME}}/../../../CDH-5.7.0-1.cdh5.7.0.p0.45/jars/accumulo-core-1.6.0.jar:......" 太长了，不全部复制了，发现会加载$HADOOP_YARN_HOME/*这个路径下的所有jar包，于是尝试把mysql的驱动包手动拷入每个worker节点中的该目录下，我是CDH5.7，因此目录全路径是“/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/hadoop-yarn”，（每个yarn节点都要拷贝）。

做完这些事后，再跑一遍job，发现成功了，没有报错了，而且结果都写入mysql数据库了。开森！不过有点不明白，为什么CDH不把这些常用的jdbc驱动包一起打进去呢？