Hive的元数据库替换为Mysql

Hive Metastore配置详解
本文详细介绍了如何将Hive Metastore配置为使用MySql作为后端存储,包括必要的驱动拷贝步骤及hive-site.xml配置文件的具体参数设置。

1.驱动拷贝

拷贝mysql­connector­java­5.1.27­bin.jar到/root/hd/hive/lib/下

2.配置Metastore到MySql

-》在/root/hd/hive/conf目录下创建一个hive-site.xml
-》根据官方文档配置参数,拷贝数据到hive-site.xml文件中(hive/conf/下创建文件)


<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hd-01:3306/metastore?createDatabaseIfNotExist=t rue</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</descriptio
n>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</descriptio
n>
</property>
</configuration>
MySQL上创建Hive元数据库通常涉及到设置Hive Metastore服务,这是一个存储Hive元数据(如表结构、分区信息等)的独立数据库组件。以下是简化的步骤: 1. **安装并启动Hive Metastore**: 首先需要安装HiveHive会自带Metastore服务。如果已经在服务器上安装了Hadoop集群,可以使用Hive的安装脚本。 2. **配置Metastore数据库连接**: Hive默认使用的是内置的内存数据库Impala Thrift Server。如果你想将元数据存储到外部MySQL数据库,你需要修改`hive-site.xml`文件,设置`javax.jdo.option.ConnectionURL`属性为你的MySQL连接地址。 ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hivemetadb?createDatabaseIfNotExists=true</value> </property> ``` 这里的`hivemetadb`是你要创建的Hive元数据库名称。 3. **创建Hive用户**: 在MySQL客户端,以管理员身份登录,然后创建一个新的用户并给其权限。例如: ```sql CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'your_password'; ``` 4. **授予权限**: 授予新用户对Metastore数据库的操作权限,这通常包括对特定数据库的`SELECT`, `INSERT`, `UPDATE`, 和 `CREATE` 权限。示例如下: ```sql GRANT ALL PRIVILEGES ON hivemetadb.* TO 'hiveuser'@'%'; FLUSH PRIVILEGES; ``` 这里`%`表示从任何主机都可以访问,如果需要更严格的限制,可以用具体的IP替换5. **验证并测试**: 确认用户和权限设置是否正确,你可以尝试通过新创建的用户连接到Metastore数据库。 完成后,Hive将会使用这个MySQL数据库作为元数据存储。注意,这是一个简化的指南,实际操作可能会因环境和需求的不同而有所调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值