Spark SQL 访问hive 出现异常：org.datanucleus.exceptions.NucleusDataStoreException

最新推荐文章于 2024-01-09 14:59:02 发布

原创最新推荐文章于 2024-01-09 14:59:02 发布 · 4.4k 阅读

2 ·

CC 4.0 BY-SA版权

大数据同时被 2 个专栏收录

13 篇文章

订阅专栏

Spark

2 篇文章

订阅专栏

本文解决了一个关于Hive连接MySQL时出现的NucleusDataStoreException异常问题，原因是由于使用了不兼容的MySQL驱动版本。通过将mysql-connector-java版本从6.0.6降级到5.1.36，并更改hive-site.xml中的配置，成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

异常：

org.datanucleus.exceptions.NucleusDataStoreException: Exception thrown obtaining schema column information from datastore

出现问题原因：
1、hive-site.xml 中配置的是
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
而com.mysql.cj.jdbc.Driver 需要的是6.0以上的版本，因此pom.xml文件使用的配置如下：
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>6.0.6</version>
</dependency>
解决方法，通过网上搜索：
https://stackoverflow.com/questions/45098841/how-to-use-hive-metastore-with-mysql-for-thrift-server-or-spark-shell/45105368#45105368
建议把版本从6.0.6改为5.1.36，因此修改了hive-site.xml的配置为：
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
pom.xml中的mysql-connector-java版本改为5.1.36就正常了。