Hive中Driver的流程和Hive的工作原理

先看图:

Driver:在Hive中,Driver是一个关键的组件,负责协调和管理Hive查询的执行过程

大致可以分为四步:解析->编译->优化->执行

大致流程如下

解析:将HQL语句解析为抽象语法树

编译:将抽象语法树编译成查询块,将查询块转换为逻辑查询计划

优化:重写逻辑执行计划,优化逻辑执行计划(RBO 基于规则优化),将逻辑计划转换为物理执行计划

执行:选择最佳的join策略,优化物理执行计划(CBO 基于代价优化)

Hive的工作原理:

先看图:

大致可分为五步:

1.创建表,将表与数据文件建立映射关系

2.通过映射关系向表中导入数据,就是把数据仓库中的数据跟这张表进行关联(Load Data)

3.然后元数据就会记录到MetaStore

4.执行查询的时候在进行解析编译优化执行,在解析阶段就会去关联元数据

5.最后通过MR计算返回结果

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据界一个小小的程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值