Hive-0.13.1本地独立模式安装 元数据存储到MariaDB-10.1.0 Hadoop-2.4.0

本文介绍了如何在Hadoop环境中配置Hive使用MariaDB作为元数据存储。包括安装配置MariaDB、设置Hive连接参数、创建数据库及权限等步骤。

http://xiejianglei163.blog.163.com/blog/static/1247276201462491813826/

使用的Hadoop版本:2.4.0


离线安装MariaDB:

安装完后查看mariadb状态:
service mysql status
service mysql start
修改root密码:
mysqladmin -u root password 'root'
登录:
mysql -u root -p

创建用户 :
  1. MariaDB [(none)]>insert into mysql.user(Host,User,Passwordvalues("localhost","hadoop",password("hadoop"));
  2. MariaDB [(none)]>flush privileges;
创建数据库:
MariaDB [(none)]>create database hive;
授权:
MariaDB [(none)]>grant all on hive.* to hadoop@'%' identified by "hadoop";
MariaDB [(none)]> flush  privileges ;

安装Hive,解压:
tar -zxvf apache-hive-0.13.1-bin.tar.gz

解压后,编辑java.sh(java.sh为自己创建的脚本): vim /etc/profile.d/java.sh
export HIVE_HOME=/opt/modules/hive/apache-hive-0.13.1-bin
export HIVE_CONF_DIR=$HIVE_HOME/conf
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
并将$HIVE_HOME/bin加入到PATH中

下载java的驱动包:
mariadb-java-client-1.1.7.jar
放到$HIVE_HOME/lib下面

复制hive-default.xml.template为hive-site.xml并编辑:
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
 </property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.mariadb.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
<description>password to use against metastore database</description>
</property>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://master:9000/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>

命令:hive
hive>show tables;
create table xjl(id int);
drop table xjl;

查看MariaDB中的hive可以看到出现了许多张表

Hive的数据存放在hdfs中/user/hive/warehouse中
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值