spark shell 启动出错问题

最新推荐文章于 2023-04-01 11:46:08 发布

原创最新推荐文章于 2023-04-01 11:46:08 发布 · 9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark-sql

spark 专栏收录该内容

29 篇文章

订阅专栏

本文记录了一次直接启动spark-shell时出现的错误及其解决过程。错误提示为找不到指定的数据存储驱动，通过检查并指定正确的驱动路径解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误描述：直接启动spark-shell，pia,出错了，之前一直是这样启动的啊，一点错也没有。心情不好的时候真的想一删了之，然后再下一个版本来用。可是想一想如果下载的也是这个样子，那我岂不是浪费时间，又做重复的事情，赔了夫人又折兵，虽然我没有夫人。。。。恩，还是静心看了看错误，忽然想起前段时间使用spark sql 从hive里面取数据来着，但是我的hive-site.xml和驱动包已经考到了对应的目录了，怎么还给我整这么一出，我估计是没有配置好路径的问题。然后我就直接在启动spark-shell的时候指定了spark-sql需要的驱动包，因为spark-shell启动的时候会启动spark-sql。错误日志和解决方法如下：

Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
   at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)
   at org.datanucleus.store.rdbms.connectionpool.DBCPConnectionPoolFactory.createConnectionPool(DBCPConnectionPoolFactory.java:50)
   at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238)

... 127 more

解决方法：

[root@hadoop0 bin]# ./spark-shell --driver-class-path /usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar