hive的元数据存储在mysql后的悲剧…

最新推荐文章于 2025-01-07 20:05:19 发布

原创最新推荐文章于 2025-01-07 20:05:19 发布 · 667 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍如何在Hive中配置使用MySQL作为元数据存储的方法，并解决因字符集问题导致的索引长度超出限制的错误。同时提供了解决常见连接问题的方案。

先确保你已经成功安装了HIVE和MYSQL

在hive-site.xml中添加如下内容，指定METASTORE的地址以及连接方式

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.20.151.10:3306/hive?characterEncoding=UTF-8</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive_user</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
<description>password to use against metastore database</description>
</property>

一些基本的常识错误，如：没有创建数据库报错，没有权限报错，此处掠过。

当在hive中show table 时如果报以下错时

FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the log, and are attached to this exception.
NestedThrowables:
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

（略去很多java 提示）

是到mysql中的hive数据库里执行 alter database hive character set latin1;改变hive元数据库的字符集，问题就可以解决！

类似原因如下：

在Windows XP下用Mysql5.1.20创建一个表索引碰到这个错误，错误号1071，表为GBK编码，MyISAM引擎。Google了一下，这个在Mysql5.2.0之前是个Bug，改用默认的Latin1字符集就可以避过这个问题，未验证，但是在CentOS 5.0下安装的Mysql5.0.45这个错误并不会发生，具体跟操作系统还有些关系。
错误原因说明及解决方法如下：
建立索引时，数据库计算key的长度是累加所有Index用到的字段的char长度后再按下面比例乘起来不能超过限定的key长度1000：
latin1 = 1 byte = 1 character
uft8 = 3 byte = 1 character
gbk = 2 byte = 1 character
举例能看得更明白些，以GBK为例：
CREATE UNIQUE INDEX `unique_record` ON reports (`report_name`, `report_client`, `report_city`);
其中report_name varchar(200), report_client varchar(200), report_city varchar(200)
(200 + 200 +200) * 2 = 1200 > 1000，所有就会报1071错误，只要将report_city改为varchar(100)那么索引就能成功建立。
如果表是UTF8字符集，那索引还是建立不了。

另外有一个需要注意的地方是，需要把一个jar包mysql-connector-java-5.1.15-bin.jar拷贝到hive的lib目录下才行，否则执行语句的时候会报错，类似下面这样

hive> show tables;
FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
NestedThrowables:
java.lang.reflect.InvocationTargetException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

（略去很多java 提示）

#Hadoop