hive相关配置

本文介绍了Hive 0.13.1的配置步骤,包括安装JDK、Hadoop,并确保Hadoop正常运行。接着详细讲述了Hive的安装过程,以及创建内部表、指定分隔符的操作。还提到了如何通过LOAD DATA命令从本地文件加载数据到Hive表中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hive的配置

Hive部署
版本 0.13.1
1、安装JDK
2、安装Hadoop
确保Hadoop可以正常使用(上传文件、运行jar)
3、安装Hive
“`
tarzxf/opt/softwares/apachehive0.13.1bin.tar.gztarzxf/opt/softwares/apache−hive−0.13.1−bin.tar.gz cp -a hive-env.sh.template hive-env.sh
$ cp -a hive-default.xml.template hive-site.xml

4、修改hive-env.sh

JAVA_HOME=/opt/modules/jdk1.7.0_79
HADOOP_HOME=/opt/modules/hadoop-2.5.0-cdh5.3.6
export HIVE_CONF_DIR=/opt/modules/hive-0.13.1-cdh5.3.6/conf

5、安装mysql

$ su - root
# rpm -qa | grep mysql
# rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64
# yum -y install mysql mysql-server mysql-devel
# service mysqld start
# chkconfig mysqld on
# mysqladmin -uroot password '123456'   --设置密码
给用户授权:
# mysql -uroot -p
mysql> grant all on *.* to root@'bigdata-hive' identified by '123456' ;
mysql> flush privileges;

** mysql数据库默认只允许root用户通过localhost/127.0.0.1来登录使用

all  所有权限
*.*  数据库.数据表
root 授权给哪个用户,用户名可以任意指定,如果没有会自动创建
'hadoop-senior01.beifeng.com'  授权给哪台主机
'123456'    授权给用户来登录的密码


- 6、配置hive-site.xml

        <property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
        </property>

- 7、拷贝驱动包

    $ tar zxf mysql-connector-java-5.1.27.tar.gz
    $ cp mysql-connector-java-5.1.27-bin.jar /opt/modules/apache-hive-0.13.1-bin/lib/

    8、修改目录权限
    $ bin/hdfs dfs -chmod g+w /tmp
    $ bin/hdfs dfs -chmod g+w /user/hive/warehouse
        ** /tmp存放临时文件
        ** /user/hive/warehouse  具体的Hive仓库目录

    9、启动客户端使用Hive
    $ bin/hive --用法几乎跟mysql一样
  10.创建hive的日志文件存放位置
    $ mv hive-log4j.properties.template hive-log4j.properties
    $ mkdir logs/
    修改 hive-log4j.properties
    hive.log.dir=/opt/modules/hive-0.13.1-cdh5.3.6/logs


  定义显示数据库名称和列名
** 修改Hive-site.xml
<property>
  <name>hive.cli.print.header</name>
  <value>true</value>
</property>

<property>
  <name>hive.cli.print.current.db</name>
  <value>true</value>
</property>

hive的语句

  • 创建内部表并指定分隔符
create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
  • 映射文件
    • 将文件copy到hdfs下对应表下的文件夹
    • 从本地文件映射

LOAD DATA LOCAL INPATH ‘/home/hadoop/hfxdoc/person.txt’ OVERWRITE INTO TABLE person;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值