【图文详细 】Hive 执行过程概述

本文详细介绍了Hive如何将HQL转化为一系列操作符,每个操作符对应HDFS操作或MapReduce作业。Hive执行模式包括本地和分布式,通过ExecMapper和ExecReducer执行。编译过程包括Parser、Semantic Analyzer、Logic Plan Generator、Logic Optimizer和Physical Plan Generator等步骤,其中优化器旨在减少Job数量和shuffle数据量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. Hive 将 HQL 转换成一组操作符(Operator),比如 GroupByOperator, JoinOperator 等
  2. 操作符 Operator 是 Hive 的最小处理单元
  3. 每个操作符代表一个 HDFS 操作或者 MapReduce 作业
  4. Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序,执行模式有本地模式和分 布式两种模式

Hive 操作符列表: 

Hive 编译器的工作职责: 

  1. Parser:将 HQL 语句转换成抽象语法树(AST:Abstract Syntax Tree) 
  2. Semantic Analyzer:将抽象语法树转换成查询块
  3. Logic Plan Generator:将查询块转换成逻辑查询计划
  4. Logic Optimizer:重写逻辑查询计划,优化逻辑执行计划
  5. Physical Plan Gernerator:将逻辑计划转化成物理计划(MapReduce Jobs)
  6. Physical Optimizer:选择最佳的 Join 策略,优化物理执行计划 

优化器类型:

上表中带①符号的,优化目的都是尽量将任务合并到一个 Job 中,以减少 Job 数量,带②的 优化目的是尽量减少 shuffle 数据量 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值