01 | Hive SQL执行步骤

关注

原创最新推荐文章于 2026-04-03 09:40:27 发布 2.1k 阅读 AI 写同款· GEO 优化 ›

Hive(五) -- Hive执行流程、数据倾斜和优化 Hive的数据倾斜实际上就是MR的数据倾斜阅读详情

Hive SQL 的执行过程是将用户编写的类 SQL 语句（HiveQL）转化为底层可执行的计算任务（如 MapReduce、Tez 或 Spark），并在 Hadoop 生态中完成数据处理。整个流程可分为 6 个核心步骤，体现了 Hive “SQL → 逻辑计划 → 物理计划 → 分布式执行” 的编译与优化思想。

一、Hive SQL 执行全流程概览

用户输入 HiveQL
       ↓
1. 词法 & 语法解析（Parsing）
       ↓
2. 抽象语法树（AST）
       ↓
3. 语义分析（Semantic Analysis）
       ↓
4. 生成逻辑执行计划（Logical Plan）
       ↓
5. 逻辑优化（Logical Optimizer）
       ↓
6. 生成物理执行计划（Physical Plan）→ 提交到执行引擎（MR/Tez/Spark）

二、详细执行步骤解析

步骤 1️⃣：词法 & 语法解析（Parsing）

使用 Antlr（或早期的 JavaCC）对 HiveQL 进行词法和语法分析；
检查 SQL 是否符合 Hive 语法规则（如关键字、括号匹配、表是否存在等）；
输出：抽象语法树（Abstract Syntax Tree, AST）。

✅ 示例：
SELECT id FROM users WHERE age > 18;
→ 被解析为一棵树结构，包含 SELECT、FROM、WHERE 等节点。

步骤 2️⃣：语义分析（Semantic Analysis）

遍历 AST，进行上下文校验：
- 表/字段是否存在？
- 数据类型是否匹配？（如 age > 'abc' 会报错）
- 权限检查（如果启用授权）
- 分区字段是否合法？
构建 Operator Tree（操作符树），也称为 逻辑执行计划雏形；
确定输入表的元数据（来自 Metastore）。

🔑 关键组件：SemanticAnalyzer 类。

步骤 3️⃣：生成逻辑执行计划（Logical Plan）

将 Operator Tree 转换为标准的 逻辑执行计划（Logical Plan）；
计划由一系列 Operator 组成，如：
- TableScan（表扫描）
- Filter（过滤）
- Select（投影）
- GroupBy（聚合）
- Join（连接）
此时还未决定如何分布式执行。

步骤 4️⃣：逻辑优化（Logical Optimizer）

应用一系列规则优化器（Rule-based Optimizer） 对逻辑计划进行改写；
常见优化包括：

优化类型	说明
谓词下推（Predicate Pushdown）	将 WHERE 条件尽可能下推到 TableScan，减少 I/O
列裁剪（Column Pruning）	只读取 SELECT 中用到的列
常量折叠（Constant Folding）	如 `WHERE 1=1 AND age > 18` → `WHERE age > 18`
MapJoin 优化	小表自动转为 Map-side Join
分区裁剪（Partition Pruning）	只扫描满足条件的分区

💡 优化目标：减少数据量、降低计算复杂度、提升执行效率。

步骤 5️⃣：生成物理执行计划（Physical Plan）

将优化后的逻辑计划转换为特定执行引擎的物理任务；
根据配置的引擎（hive.execution.engine）生成不同计划：
- MapReduce：生成 JobConf，划分 Map/Reduce 阶段；
- Tez：生成 DAG（有向无环图）；
- Spark：生成 RDD 转换链（DAGScheduler）。

📌 例如：
GROUP BY 在 MR 中 → 1 个 Map + 1 个 Reduce；
在 Tez/Spark 中 → 可能合并为单个 Vertex 或 Stage。

步骤 6️⃣：提交执行 & 获取结果

将物理计划提交给对应的计算框架：
- MR → 提交到 YARN；
- Spark → 提交到 Spark Cluster；
执行过程中：
- 从 HDFS 读取数据；
- 在 TaskManager/Container 中运行计算；
- 中间结果写入临时目录；
- 最终结果写入目标表或返回客户端。
客户端轮询任务状态，成功后返回结果集（或写入表）。

三、关键组件角色

组件	作用
Driver	控制整个编译和执行流程
Compiler	负责 Parsing → Logical Plan → Physical Plan
Metastore	提供表结构、分区、统计信息等元数据
Execution Engine	实际执行任务（MR/Tez/Spark）
SerDe	序列化/反序列化数据（如 JSON、Parquet）

四、执行计划查看（调试必备）

查看逻辑计划：

EXPLAIN SELECT id FROM users WHERE age > 18;

查看物理计划（含 MR/Tez 任务）：

EXPLAIN EXTENDED SELECT ...;
-- 或
EXPLAIN DEPENDENCY SELECT ...;

输出包含：

Stage 依赖关系
Map/Reduce 输入输出
使用的 SerDe、文件格式
是否触发 MapJoin 等

五、影响执行效率的关键因素

数据存储格式：Parquet/ORC 列式存储 + 谓词下推 ≫ TextFile；
分区 & 分桶：合理设计可大幅减少扫描量；
统计信息：ANALYZE TABLE ... COMPUTE STATISTICS 帮助 CBO 优化；
执行引擎选择：Tez/Spark 通常比 MR 快 2~10 倍；
资源配置：YARN 内存、CPU、并行度。

六、总结：Hive SQL 执行本质

Hive 不是数据库，而是一个“SQL 到分布式计算的翻译器”。

阶段	目标
解析 & 语义分析	理解用户意图，验证合法性
逻辑计划 & 优化	用最少的计算做最多的事
物理计划 & 执行	借助 Hadoop 生态高效跑任务

通过理解这一流程，你可以：