Hive Driver 原理

Hive Driver解析并优化HQL,将其转化为Hive Job执行于Hadoop集群。SQL转MapReduce经历六个阶段:词法语法解析、AST Tree构建、QueryBlock抽象、OperatorTree生成、逻辑优化、物理优化,最终形成执行计划。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive 的Driver 是hive的一个组件,负责将hive  sql 解析和优化HQL语句,将其转换成一个Hive Job(可以是MapReduce,也可以是Spark等其他任务)并提交给Hadoop集群。






SQL转化为Hive Job的过程

SQL转化为MapReduce任务的,整个编译过程分为六个阶段:

  1. Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree
  2. 遍历AST Tree,抽象出查询的基本组成单元QueryBlock
  3. 遍历QueryBlock,翻译为执行操作树OperatorTree
  4. 逻辑层优化器进行OperatorTree变换,合并不必要的ReduceSinkOperator,减少shuffle数据量
  5. 遍历OperatorTree,翻译为hive job任务
  6. 物理层优化器进行hive job任务的变换,生成最终的执行计划
参考:

1.http://tech.meituan.com/hive-sql-to-mapreduce.html

2.https://segmentfault.com/a/1190000002774731

3.http://blog.youkuaiyun.com/u010330043/article/details/51225021

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值