hive简单介绍

优质资源：http://wiki.baidu.com/pages/viewpage.action?pageId=69100592

                  https://cwiki.apache.org/confluence/display/Hive/Home

                  http://wiki.baidu.com/pages/viewpage.action?pageId=409406475

什么是hive:http://www.aboutyun.com/thread-7411-1-1.html

hive的工作流程：https://blog.youkuaiyun.com/licw_0909/article/details/54234540

hive的组件及功能：http://www.aboutyun.com/thread-7478-1-1.html

Hive中HCatalog和WebHCat：http://blog.sina.com.cn/s/blog_72ef7bea0102vxia.html

 

什么是HIVE（本质的作用：将sql查询语句转化成mapreduce程序）

Apache Hive
The Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax. 

Built on top of Apache Hadoop™, Hive provides the following features:

1.Tools to enable easy access to data via SQL, thus enabling data warehousing tasks such as extract/transform/load (ETL), reporting, and data analysis.
2.A mechanism to impose structure on a variety of data formats
3.Access to files stored either directly in Apache HDFS™ or in other data storage systems such as Apache HBase™ 

4.Query execution via Apache Tez™, Apache Spark™, or MapReduce
5.Procedural language with HPL-SQL
6.Sub-second query retrieval via Hive LLAP, Apache YARN and Apache Slider.

上面英文的大致意思是：
在Apache Hive™  数据仓库软件便于阅读，写作和管理驻留在分布式存储大型数据集，并使用SQL语法查询。

Hive 构建于Apache Hadoop™之上，提供以下功能：

1.通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析。

2.一种在各种数据格式上强加结构的机制

3.访问直接存储在Apache HDFS ™  或其他数据存储系统（如Apache HBase ™）中的文件

4.通过Apache Tez ™，  Apache Spark ™或  MapReduce执行查询

5.使用HPL-SQL的过程语言

6.通过Hive LLAP，Apache YARN和Apache Slider进行亚秒级查询检索。

上面的意思很明白了.这里再给他提炼一下：
1.hive是一个数据仓库
2.hive基于hadoop。
总结为一句话：hive是基于hadoop的数据仓库。

Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；
（也就是说对存储在HDFS中的数据进行分析和管理，我们不想使用手工，我们建立一个工具把，那么这个工具就可以是hive）
 

（数据仓库常用来存储冷数据--------如操作日志等这种不常用的数据）

1.2  Hive架构

1.2.1 架构图

 

Jobtracker是hadoop1.x中的组件，它的功能相当于： Resourcemanager+AppMaster

 

TaskTracker 相当于：  Nodemanager  +  yarnchild

 

2、执行的过程：
HiveQL通过CLI/web UI或者thrift 、 odbc 或 jdbc接口的外部接口提交，经过complier编译器，运用Metastore中的云数据进行类型检测和语法分析，生成一个逻辑方案(logical plan),然后通过简单的优化处理，产生一个以有向无环图DAG数据结构形式展现的map-reduce任务

 

1.2.2 基本组成

• 用户接口：包括 CLI、JDBC/ODBC、WebGUI。
• 元数据存储：通常是存储在关系数据库如 mysql , derby中。
• 解释器、编译器、优化器、执行器。
• 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。
• 元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
• 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。

1.2.3  各组件的基本功能

1.3 Hive与Hadoop的关系

Hive利用HDFS存储数据，利用MapReduce查询数据

 

 

1.4 Hive与传统数据库对比

 

 

总结：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析

 

1.5 Hive的数据存储

1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile（带表头），RCFILE（和ParquetFile类似，是不同公司开发的）等）

2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。

3、Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。

²  db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

²  table：在hdfs中表现所属db目录下一个文件夹

²  external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径

普通表: 删除表后, hdfs上的文件都删了

External外部表删除后, hdfs上的文件没有删除, 只是把文件删除了

²  partition：在hdfs中表现为table目录下的子目录

²  bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中

 

hiveServer/HiveServer2

       1：简单介绍     

        两者都允许远程客户端使用多种编程语言，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，连这个和都允许远程客户端使用多种编程语言如java，python等向hive提交请求，取回结果（从hive0.15起就不再支持hiveserver了），但是在这里我们还是要说一下hiveserver

       HiveServer或者HiveServer2都是基于Thrift的，但HiveSever有时被称为Thrift server，而HiveServer2却不会。既然已经存在HiveServer，为什么还需要HiveServer2呢？这是因为HiveServer不能处理多于一个客户端的并发请求，这是由于HiveServer使用的Thrift接口所导致的限制，不能通过修改HiveServer的代码修正。因此在Hive-0.11.0版本中重写了HiveServer代码得到了HiveServer2，进而解决了该问题。HiveServer2支持多客户端的并发和认证，为开放API客户端如JDBC、ODBC提供更好的支持。