Hive使用MySQL保存Metastore

Hive 将元数据存储在 RDBMS 中,有三种模式可以连接到数据库: 
1)ingle User Mode: 此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit Test。 
2)Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式。 
3)Remote Server Mode:用于非 Java 客户端访问元数据库,在服务器端启动一个 MetaStoreServer,客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库。 

Hive默认是采用Derby来存储其Meta信息的, 
现在我们需要修改为mysql 

1.在mysql专门为hive添加一个任意用户

mysql> CREATE USER 'zhangge'@'%' IDENTIFIED BY 'zhanggexxxxxxx';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'zhangge'@'%' WITH GRANT OPTION; 
2.修改配置文件conf/hive-default.xml 中的配置 

  1. <property>    
  2.         <name>javax.jdo.option.ConnectionURL</name>    
  3.         <value>jdbc:mysql://zhangge:3306/hive?createDatabaseIfNotExist=true</value>     
  4.         <description>JDBC connect string for a JDBC metastore</description>  
  5. </property>  
  6. <property>    
  7.         <name>javax.jdo.option.ConnectionDriverName</name>    
  8.         <value>com.mysql.jdbc.Driver</value>    
  9.         <description>Driver class name for a JDBC metastore</description>  
  10. </property>  
  11. <property>    
  12.         <name>javax.jdo.option.ConnectionUserName</name>    
  13.         <value>zhangge</value>    
  14.         <description>username to use against metastore database</description>  
  15. </property>  
  16. <property>    
  17.         <name>javax.jdo.option.ConnectionPassword</name>    
  18.         <value>zhanggexxxxx</value>    
  19.         <description>password to use against metastore database</description>  
  20. </property>  

3.添加jdbc的jar包 
wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.11.tar.gz/from/http://mysql.he.net/
tar -xvzf mysql-connector-java-5.1.11.tar.gz
cp mysql-connector-java-5.1.11-bin.jar /data/soft/hive/lib

4.启动hive 
bin/hive
hive> show tables;

When using MySQL as a metastore I see the error "com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes". 

    * This is a known limitation of MySQL 5.0 and UTF8 databases. One option is to use another character set, such as 'latin1', which is known to work. 
这个问题是因为hive对mysql的UTF-8编码方式有限制,修改一下mysql的编码方式即可:alter database name character set latin1;
latin1ISO-8859-1的别名

FAILED: Error in metadata: javax.jdo.JDOException: Couldnt obtain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'

因为,READ-COMMITTED需要把bin-log以mixed方式来记录,在mysql下用以下命令来修改:

set global binlog_format='MIXED';

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值