Hive执行sql时的工作流程详解

                                                  今天也要努力学习

简单的说下hive：

hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转化为Mapreduce任务进行运行。

hive实现：

hive是基于Hadoop的一个数据仓库工具， 由Driver组件，MetaStore组件，用户接口，hadoop四部分组成，用户通过客户端提交任务给Driver，编译器获得任务，编译器Compiler根据任务去MetaSotre中获取Hive的元数据信息，编译器Compiler’得到元数据信息，对任务进行编译，将客户端任务转化为物理计划，即MapReduce任务，选择最佳的策略，将最后的计划交给Driver，Driver将计划Plan转交给执行引擎去执行，获取元数据信息，提交给SourceManager执行任务。

hive执行sql的工作流程：

1. 用户提交查询等任务给Driver。

2. 编译器获得该用户的任务Plan。

3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。

4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。

5. 将最终的计划提交给Driver。

6. Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者SourceManager执行该任务，任务会直接读取HDFS中文件进行相应的操作。

7. 获取执行的结果。

8. 取得并返回执行结果。