HIVE 配置遇到的所有错误

最新推荐文章于 2024-04-26 17:28:17 发布
原创 最新推荐文章于 2024-04-26 17:28:17 发布 · 4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客主要记录了在配置Hive时遇到的JDOFatalInternalException错误，包括错误信息和可能的原因。作者通过检查JDBC驱动、避免 metastore重复启动以及解决锁文件问题等方案来尝试解决。错误提示提到了数据库驱动未找到，可能的原因是JDBC驱动不在CLASSPATH中，或者 metastore服务没有正确关闭导致的锁文件问题。提供的解决方案包括检查Hive的lib目录下是否存在正确的JDBC驱动，处理metastore_db的锁文件，以及确保正确关闭Hive服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
[root@master conf]# hive --service metastore &
[1] 21308
[root@master conf]# Starting Hive Metastore Server
javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:587)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:788)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:333)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965)
at java.security.AccessController.doPrivileged(Native Method)
at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960)
at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)
at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:365)
at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:394)
at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:291)
at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:258)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:57)
at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:66)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:593)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:571)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:624)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:461)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:66)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:72)
at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5762)
at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5757)
at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:5990)
at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5915)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
NestedThrowablesStackTrace:
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:631)
at org.datanucleus.plugin.PluginManager.createExecutableExtension(PluginManager.java:325)
at org.datanucleus.store.AbstractStoreManager.registerConnectionFactory(AbstractStoreManager.java:282)
at org.datan
最低0.47元/天 解锁文章

200万优质内容无限畅学
Hive metastore启动报错The specified datastore driver(“com.mysql.jdbc.Driver“) was not found in the CLASS
数据源的港湾
11-04 1374
现象 某集群有两个Hive metastore，其中一个正常运行，另一个启动报错，报错的Hive metastore日志报错信息如下， 上午9点56:55.875分 WARN HiveMetaStore [main]: Retrying creating default database after error: Error creating transactional connection factory javax.jdo.JDOFatalInternalException: Error creati
hive安装遇到的错误
qq_58490175的博客
05-17 295
解决：关闭Hadoop安全模式，虽然我的默认关闭，但我还是重新运行下面的代码，可以进入hive，但是还是有错误，太难了明天再弄。解决：Hadoop没有启动 启动之后就可以了，但我又出现了另一种错误，哭死。网上说是hadoop和hive的guava.jar版本不一致。
hive启动不成功
热门推荐
mushroom1116的博客
02-27 1万+
问题：进入hive/bin启动hive出现如下错误17/03/05 17:38:03 WARN conf.HiveConf: DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.ur
hive启动时报错NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException
weixin_53063015的博客
04-15 2578
今天忙了一整天找报错，靠！我master节点能正常打开，用其他节点去访问master节点的hive服务器，bin/beeline 就一直报错，也找不到跟我类似的报错 在master节点上面运行hive没问题开启服务器，客户端都正常，然后将这些文件复制过去的，运行就报错，这上面没什么更改的啊！又加上是复制过来的没有打错字这一说，为什么master能运行呢？ 在hive启动时报错 bin/hive Exception in thread “main” java.lang.NoClassDefFoundE
hive --service metastore 启动报错
m0_54233757的博客
08-02 6600
Hadoop@masterHive]$2021-10-28153757StartingHiveMetastoreServeratorg.apache.hadoop.hive.metastore.RetryingHMSHandler.(RetryingHMSHandler.java84)atorg.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java93)atorg.
MetaException(message:Error creating transactional connection factory)
lkm0522的博客
10-25 4593
hive启动报错信息: MetaException(message:Error creating transactional connection factory) Caused by: MetaException(message:Error creating transactional connection factory) Caused by: javax.jdo.JDOFatalInternalException: Error creating transactional connection fac
HIVE配置遇到的所有错误（2）
理性的浪漫的程序人生
08-04 1820
Exception in thread "main" javax.jdo.JDOFatalDataStoreException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true, username = hive.
hive配置Kerbros安全认证_hive kereveros
2401_84264610的博客
04-26 769
合并成一个keytab文件，rkt表示展示,wkt表示写入。注意：ktutil：以后面的是输入的。#生成密钥文件（生成到当前路径下）
大数据技术之Hive 学习遇到 常见错误及解决方案
牛牛
06-09 979
1）基本语法 2）案例实操（1）查看下面这条语句的执行计划没有生成MR任务的 有生成MR任务的 （2）查看详细执行计划 10.2 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老
【Hive】中将元数据Metastore配置到MySql时，hive启动异常
Aimo_哈撒的博客
07-05 1079
在将hive中的元数据配置到mysql中，以便实现多窗口启动hive的过程中，一切配置都ok，但是在启动hive的时候出现了以下错误： Caused by: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://hadoop102:3306/m...
sqoop将mysql数据导入hive时因缺少jar包报的一些错误以及解决方法
追梦人的博客
10-29 2008
错误一：缺少log4j相关jar包导致的错误 21/10/28 17:32:27 ERROR tool.ImportTool: Import failed: java.io.IOException: Exception thrown in Hive at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:358) at org.apache.sqoop.hive.HiveImport.importTable(HiveImport
Hive疑难杂症
澈彻策的博客
08-28 722
1.Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient Logging initialized using configuration in jar:file:/home/hadoop/apps/hive/lib/hive-common-1.2.1.jar!/hive-log4j.
Hive的metastore报错日志
陆山右的技术博客
12-08 3014
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server. at sun.reflect.GeneratedConstructorAccessor20.newInstance(Unknown Sourc...
hive初始化mysql失败_hive 未初始化元数据库报错
weixin_29113833的博客
01-27 2875
启动hive-metastore和hive-server2 用beeline连接hive报错[root@node04 hive]# beelineBeeline version 0.13.1-cdh5.3.0 by Apache Hivebeeline> !connect jdbc:hive2://172.16.145.114:10000 hivescan complete in 3msCo...
FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Unexpected exception caught.
lavimer
01-23 2099
问题： 今天使用hive时候出现异常，命令为：show databases；错误如下： FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Unexpected exception caught. NestedThrowables: java.lang.reflect.InvocationTargetException
避坑指南：Centos7安装部署Hive时踩坑笔记
向心行者
08-06 1141
常见错误： FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient https://blog.csdn.net/qq_35078688/article/details/86137440 Ex
hive配置mysql
最新发布
05-30
<think>好的，我现在需要帮用户配置Hive使用MySQL作为元数据库。首先，我得回忆一下Hive的元存储相关知识。Hive默认使用Derby作为元数据库，但Derby不适合多用户环境，所以用户需要切换到MySQL。用户可能是在搭建一个需要多个客户端访问的环境，比如团队开发或者生产环境，这时候MySQL作为元存储更合适。接下来，我得考虑配置的具体步骤。根据之前的引用，用户已经提到了创建数据库、安装MySQL驱动、修改配置文件等步骤。首先，用户需要在MySQL中创建Hive的元数据库，比如metastore。然后，确保Hive能连接到这个数据库，这需要MySQL的JDBC驱动。驱动的位置应该放在Hive的lib目录下，否则Hive无法识别MySQL。然后是配置文件hive-site.xml的设置。这里需要配置连接URL、用户名、密码、驱动类等信息。用户可能会遇到驱动类找不到的问题，所以需要确认驱动版本是否与MySQL版本兼容。例如，如果用的是MySQL8，可能需要使用com.mysql.cj.jdbc.Driver而不是旧版的com.mysql.jdbc.Driver。 另外，初始化元数据库结构是关键步骤。使用schematool命令初始化时，必须指定正确的数据库类型，比如mysql，并且确保之前的配置已经正确，否则初始化会失败。用户如果在这一步出错，可能需要检查之前的步骤是否有误，比如数据库权限、配置文件中的连接参数是否正确。 用户可能还关心权限问题，比如MySQL用户是否有权限访问metastore数据库。需要确保在MySQL中创建的用户（如hiveuser）具有足够的权限，包括创建、修改表等操作。此外，防火墙设置也可能导致连接问题，需要开放MySQL的端口（默认3306）。 另外，引用中提到Hive是客户端工具，所以多个节点安装时需要指向同一个MySQL数据库，保证元数据一致性。用户可能在集群环境中配置，需要确认所有Hive客户端都使用相同的hive-site.xml配置，连接到同一个MySQL实例。用户可能遇到的问题包括：驱动未正确放置、配置文件语法错误（比如XML格式不对）、MySQL服务未启动、权限不足、防火墙阻止连接等。需要提醒用户在每一步之后检查日志，尤其是Hive的日志，以定位问题。 最后，测试配置是否成功，比如运行Hive命令创建表，查看MySQL中的元数据是否有相应更新。如果成功，说明配置正确。否则，需要根据错误信息逐步排查。</think>### 配置Hive使用MySQL作为元数据库的步骤 #### 1. **安装MySQL并创建元数据库** - 登录MySQL并创建Hive元数据库（例如`metastore`）： ```sql CREATE DATABASE metastore; CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'your_password'; GRANT ALL PRIVILEGES ON metastore.* TO 'hiveuser'@'%'; FLUSH PRIVILEGES; ``` 确保替换`your_password`为实际密码[^2][^4]。 #### 2. **将MySQL驱动包放入Hive的`lib`目录** - 下载MySQL JDBC驱动（如`mysql-connector-java-8.0.28.jar`），并复制到`$HIVE_HOME/lib`目录下[^3][^4]。 #### 3. **修改Hive配置文件`hive-site.xml`** ```xml <configuration> <!-- 连接MySQL的元数据库 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://your_mysql_host:3306/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>your_password</value> </property> </configuration> ``` - 替换`your_mysql_host`和`your_password`为实际值[^3][^4]。 #### 4. **初始化Hive元数据库** - 执行以下命令初始化元数据表结构： ```bash schematool -dbType mysql -initSchema ``` 成功后显示`Initialization script completed`[^3][^4]。 #### 5. **验证配置** - 启动Hive CLI并执行简单操作（如创建表）： ```sql CREATE TABLE test_table (id INT); ``` - 检查MySQL的`metastore`数据库是否生成相关表（如`TBLS`、`COLUMNS_V2`）[^4]。 --- ### 常见问题排查 - **驱动类找不到**：确认JDBC驱动版本与MySQL版本匹配，文件名无冲突。 - **连接拒绝**：检查MySQL服务状态、防火墙规则（端口3306）及用户权限。 - **XML配置错误**：确保`hive-site.xml`格式正确，无拼写错误。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值