hive启动MetaStore报错解决方案

安装apache-hive-3.1.1时启动bin/hive --service metastore时出现的错误

第一条错误
在这里插入图片描述

原因: H I V E H O M E / l i b 目 录 下 没 有 找 到 m y s q l − c o n n e c t o r 的 j a r 包 , 因 为 我 配 置 的 源 数 据 是 M y S Q L 数 据 库 , 然 后 把 m y s q l − c o n n e c t o r − j a v a − 5.1.27 − b i n . j a r 下 载 放 到 {HIVE_HOME}/lib目录下没有找到mysql-connector的jar包,因为我配置的源数据是MySQL数据库,然后把mysql-connector-java-5.1.27-bin.jar下载放到 HIVEHOME/libmysqlconnectorjarMySQLmysqlconnectorjava5.1.27bin.jar{HIVE_HOME}/lib目录下再次启动。发现报错如下:
在这里插入图片描述原因:MySQL中的MetaStore数据库中存储的源数据版本和现在用的hive版本不匹配(修改hive-site.xml配置文件中javax.jdo.option.ConnectionURL属性的值,此属性是指定MetaStore连接地址及数据库的,将其设置成MySQL的连接地址及指定数据库就OK)

如果你只有一个hive版本,可以有以下两种解决方案:

1.登陆mysql,修改hive metastore版本:

进行mysql:mysql -uroot -p 123456
use hive; -- 配置文件中javax.jdo.option.ConnectionURL属性值指定的数据库名称
select * from version;
update VERSION set SCHEMA_VERSION='3.1.1' where  VER_ID=1;

2.简单粗暴:在hvie-site.xml中关闭版本验证

<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

我按照上面将javax.jdo.option.ConnectionURL的属性值改成另外一个数据库后启动MetaStore发现报错如下(MySQL数据库没有没有):
在这里插入图片描述
解决方案:将下列两个属性设置为false

<property>
 <name>datanucleus.metadata.validate</name>
 <value>false</value>
</property>
<property>
 <name>hive.metastore.schema.verification</name>
 <value>false</value>
</property>

接下来报错:
在这里插入图片描述
因为在此实验环境中,hive的元数据保存在远程的mysql中,所以该错误意思是:在远程的数据库中没有找到相应的数据对象。

解决办法:将下列属性设置为true

<property>
	<name>datanucleus.schema.autoCreateAll</name>
	<value>true</value>
</property>

这个属性的含义是:当元数据库中必要的数据对象不存在是,会自动创建。、

在xml配置文件中,在标签之间不要有空格!!!因为读取xml文件时是按标签读取的。

原文https://blog.youkuaiyun.com/lz6363/article/details/85019891

### Hive 报错解决方案 在使用 Hive 时,可能会遇到多种报错情况。以下是针对不同场景的解决方案,结合了提供的引用内容和专业知识。 #### 1. **PyHive 在 Windows 环境下连接 Hive 报错** 当在 Windows 环境中安装 PyHive 并尝试运行 `from pyhive import hive` 时,可能会出现如下错误:`cannot import name 'constants' from 'TCLIService' (unknown location)`[^1]。这种问题通常与依赖库的版本不兼容有关。解决方法包括: - 确保已正确安装 `thrift` 库,并且其版本与 PyHive 兼容。 - 如果问题仍然存在,可以尝试升级或降级 `thrift` 和 `sasl` 库至合适的版本。 ```python pip install thrift==0.13.0 sasl==0.2.1 ``` #### 2. **HDFS 高可用(HA)环境下 Hive 报错** 在 HDFS 开启高可用(HA)之后,如果 Hive 无法正确切换到活跃的 NameNode,则可能出现以下问题:Hive 尝试访问处于 Standby 状态的 NameNode(如 master01),导致元数据读取失败[^2]。为了解决此问题,需要确保以下配置正确: - 修改 Hive 的配置文件 `hive-site.xml`,将 HDFS 地址替换为 HA 的逻辑名称。 - 确保所有客户端使用的 HDFS 地址均为 HA 配置中的逻辑名称,而非具体的 NameNode 地址。 示例配置: ```xml <property> <name>fs.defaultFS</name> <value>hdfs://my-ha-cluster</value> </property> ``` #### 3. **Hive JDBC 连接报错** 当通过 JDBC 连接 Hive 时,可能会因为权限问题导致连接失败。例如,Hadoop 的 `core-site.xml` 文件未正确配置代理用户权限,可能会引发以下错误:`User: root is not allowed to impersonate anonymous`[^3]。为了解决该问题,需要在 `core-site.xml` 中添加以下配置: ```xml <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> ``` 上述配置允许超级用户(如 `root`)从任意主机代理任意用户。完成修改后,需重启 Hadoop 和 Hive 服务以使更改生效。 #### 4. **其他常见 Hive 报错解决方案** - **Metastore 连接失败**:检查 Hive Metastore 的配置是否正确,确保数据库(如 MySQL)服务正常运行,并验证用户名、密码及连接字符串无误。 - **SerDe 解析错误**:确认表定义中的 SerDe 类与实际数据格式匹配。例如,JSON 数据应使用 `org.openx.data.jsonserde.JsonSerDe`。 - **内存不足**:调整 Hive 的内存参数,如 `hive.exec.reducers.bytes.per.reducer` 和 `hive.exec.reducers.max`,以优化任务执行。 --- ### 示例代码 以下是一个简单的 Hive JDBC 连接示例,供参考: ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class HiveJdbcExample { public static void main(String[] args) throws Exception { String driverName = "org.apache.hive.jdbc.HiveDriver"; String connectionUrl = "jdbc:hive2://<host>:<port>/<database>"; String query = "SELECT * FROM example_table LIMIT 10"; Class.forName(driverName); try (Connection connection = DriverManager.getConnection(connectionUrl, "username", "password"); Statement statement = connection.createStatement(); ResultSet resultSet = statement.executeQuery(query)) { while (resultSet.next()) { System.out.println(resultSet.getString(1)); } } } } ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值