hive客户端升级及添加hadoop超级权限

最新推荐文章于 2025-01-09 11:08:45 发布

原创

最新推荐文章于 2025-01-09 11:08:45 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

本文档详细介绍了如何升级Hive客户端到0.14.0版本，包括停止服务、备份MySQL数据库、执行升级脚本、迁移配置文件和解决升级后遇到的数据插入问题。此外，还阐述了如何添加Hadoop超级权限，通过创建自定义的hive-authhook.jar，并在hive-site.xml中配置授权规则，实现对用户权限的精细控制。

文章来自：http://blog.youkuaiyun.com/lili72

背景：旧版本的hive 在用的过程中，经常出现一些bug，无法解决，比如无法找到表们无法找到分区等。由于并发比较大，常见如下异常：

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.DELETEME1414791576856' doesn't exist

FAILED: SemanticException [Error 10006]: Line 1:48 Partition not found ''2014-10-26''

FAILED: SemanticException Line 1:99 Exception while processing 'ST_USER_INFO': Unable to fetch table ST_USER_INFO

FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called but openTransactionCalls = 0. This probably indicates that there are unbalanced calls to openTransaction/commitTransaction)

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

（增大hive对mysql的最大连接数，还是效果不明显。SHOW VARIABLES LIKE 'max_conn%';SET GLOBAL max_connections=2000;）

hive 升级

0 下载最新 hive-0.14.0

http://apache.fayea.com/hive/hive-0.14.0/

上传到/home/bigdata/

解压文件 tar -xvf apache-hive-0.14.0-bin.tar.gz

重命名 mv apache-hive-0.14.0-bin hive0140

1 先停止所有对hive的操作，hiveserver 和客户端关闭

2 对mysql数据库进行备份

mysqldump -h 192.168.119.129 -P 3306 -uroot -p123 hive >hive-20150120-0.9.0.sql

3 修改环境变量