Hive特性--Hive1.x版本基于MR编程框架(Hive2.x之后是基于内存的，不再基于MR)

最新推荐文章于 2022-08-12 10:51:33 发布

原创最新推荐文章于 2022-08-12 10:51:33 发布 · 560 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Hive1.x

Hive 专栏收录该内容

3 篇文章

订阅专栏

本文详细解析了Hive任务如何转换为MapReduce执行的过程，包括HQL语句的解析、元数据查询、抽象语法树的生成、逻辑与物理查询计划的制定，以及最终计划的执行和结果返回。

hive任务转换为mapreduce:
在这里插入图片描述

转换过程描述：

1、通过客户端或者UI界面执行HQL语句给Driver
2、Driver会为查询操作创建一个Session Handler，并将查询操作传递给Compiler去创建Execute Plan
3、Compiler根据任务去MetaStore查询hive元数据信息
4、Compiler得到元数据信息，对task进行编译，将HQL转换为抽象语法树，再将抽象语法树转换为查询块，
   再转换为逻辑查询plan，再转换为物理执行plan（mapreduce），最后选择最佳策略
5、将最佳的plan转交给Driver
6、Driver将plan转交给Execute Engine去执行，将获取到的hive元数据提交到ResouceManager去执行task
7、获取执行的结果并返回给Driver，然后UI/Cli去Driver中获取到结果