HIive_原理与安装(一)

最新推荐文章于 2025-05-03 14:37:54 发布

原创最新推荐文章于 2025-05-03 14:37:54 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

Hive 同时被 2 个专栏收录

3 篇文章

订阅专栏

Hadoop的

1 篇文章

订阅专栏

HIVE 基本概念

Hive 简介

什么是Hive

hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

为什么用Hive

难点：学习成本太高；项目周期要求太短；MapReduce实现复杂逻辑开发难度大；

优势：接口采用类SQL语法，提供快速开发能力；不需要写MapReduce，减少学习成本；功能扩展方便；

Hive 特点

可扩展： Hive可以自由的扩展集群规模，一般情况下不需要重启服务

延展性： Hive支持用户自定义函数，可以根据自己的需求实现自己的函数

容错： 节点出现问题SQL扔可完成执行

Hive 架构

基本组成：

用户接口：包括CLI 、 JDBC/ODBC 、 WebGUI

功能：CLI为shell命令行；JDBC/ODBC是hive的java实现，与传统数据库JDBC类似；WebGUI通过浏览器访问；

元数据储存：通常储存在关系数据库中如 mysql derby

功能：hive 将元数据储存在数据库中，元数据包括表的名字，表的列和分区及其属性，表的数据所在目录等等；

解释器：编译器、优化器、执行器

Hive 和 Hadoop 的关系

Hive利用HDFS存储数据，利用MapReduce查询分析数据

Hive 和传统数据库对比

hive适合用于海量数据的离线分析

总结：hive具有关系型数据库的查询分析功能，但应用场景完全不同，hive只适合用来做批量数据统计分析，数据量大、对应的延迟较高！

Hive 的数据存储

hive 中所有的数据都存储在HDFS中，没有专门的数据存储格式（支持 Text,SequenceFile,ParquetFile,RCFILE 等）
只需要在创建表的时候告诉 hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据
Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。

db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

table：在hdfs中表现所属db目录下一个文件夹

external table：与table类似，不过其数据存放位置可以在任意指定路径

partition：在hdfs中表现为table目录下的子目录

bucket：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件

HIVE 的安装部署

1.上传tar包

2.解压 tar -zxvf hive-0.9.0.tar.gz

3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能连通hadoop集群的节点）

   mysql安装仅供参考，不同版本mysql有各自的安装流程
       rpm -qa | grep mysql
       rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
       rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm
       rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm
   修改mysql的密码
   /usr/bin/mysql_secure_installation
   （注意：删除匿名用户，允许用户远程连接）
   登陆mysql
   mysql -u root -p

4.配置hive

   （a）配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home


   （b）配置元数据库信息 vi hive-site.xml
   添加如下内容：
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://itcast01:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root123</value>
<description>password to use against metastore database</description>
</property>
</configuration>

5.安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
   如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)
   mysql -uroot -p
   #(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接)
   GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root123' WITH GRANT OPTION;
   FLUSH PRIVILEGES;

6. Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的
/home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

7.启动hive
bin/hive