Hive搭建(使用MySQL数据库作为Meta Store)参考Hive编程指南(P28)

本文档详细介绍了如何将Hive与MySQL数据库集成,作为Meta Store。首先确保Hadoop集群运行正常,然后在服务器上安装MySQL。接着,修改Hive的配置文件,包括复制并编辑hive-env.sh和hive-default.xml模板,添加MySQL连接信息,并将MySQL驱动添加到Hive的lib目录。最后,启动Hadoop集群并执行Hive命令。

Hive安装默认使用的是Derby数据库,但是通常设置使用自己的安装的数据库,如果想要安装Hive设置自己的数据库请按照下面操作

前提:Hadoop集群可以正常使用

           在Master节点或者其他节点上安装好MySQL数据库

1.安装MySQL

2.修改hive的配置文件

{HIVE_HOME/conf}目录下,复制hive-env.sh.template

$>cp hive-env.sh.template hive-env.sh

$>gedit hive-env.sh

添加:

export  HADOOP_HOME=/home/hyxy/soft/hadoop

 

{HIVE_HOME/conf}目录下,复制hive-default.xml.sh.template

$>cp hive-default.xml.template hive-site.xml

$>gedit hive-site.xml

删除之前的内容,修改成下面的内容        

 <?xml version="1.0" encoding="UTF-8" standalone="no"?>

 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 <configuration>

        <!--用于Hive作业的集群划分空间-->

        <property>

    <name>hive.exec.scratchdir</name>

    <value>/tmp/hive</value>

        </property>

        <!--用于Hive作业的本地划分空间-->

    <property>

    <name>hive.exec.local.scratchdir</name>

    <value>/home/hyxy/tmp/hive</value>

    </property>

        <!--用于metastore数据库的用户名-->

    <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hive</value>

    </property>

<!--用于metastore数据库的密码-->

    <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>123456</value>

    </property>

        <!--JDBC metastore的JDBC连接字符串-->

    <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>

    </property>

        <!--JDBC metastore的驱动类名-->

    <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    </property>

    <!--仓库的默认数据库位置-->

    <property>

    <name>hive.metastore.warehouse.dir</name>

    <value>/user/hive/warehouse</value>

    </property>

        </configuration>

 

      c.找到MySQL的连接驱动包拷贝至{HIVE_HOME/lib}下

$>cd  $HIVE_HOME/lib

$>cp  mysql-connector-java-5.1.10.jar  .(当前)

      d.开启hadoop集群;

$>start-all.sh

      e.执行hive命令

$>hive

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值