Hive SQL执行流程分析

最新推荐文章于 2025-11-01 16:25:04 发布
原创 最新推荐文章于 2025-11-01 16:25:04 发布 · 543 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了HiveSQL执行慢的原因，解析了其执行步骤，包括PredicatePushDown和MapJoin的发生阶段，详细讲解了groupby的过程，并通过mapreducecount过程说明了split、shuffle、reduce和combiner的工作原理。

为什么Hive SQL要分析过程

  1. sql执行非常慢

sql执行的步骤
在这里插入图片描述
Predicate Push Down 和MapJoin发生在逻辑执行计划还是物理执行计划？

group by的过程

mapreduce count过程：

  1. split ==> （word,1）
  2. shuffle:(word,1) partition ==> reduce
  3. reduce:(word,可迭代的(1,1,1,1…)) ⇒ （word,sum(可迭代的)）

group by的流程和mapreduce一模一样
combiner:本地的reduce，先做一个局部的聚合

【Hive基础】-- hive sql 的执行原理和流程
欢迎来到我的博客，一起探索代码里的世界！
03-21 1131
Hive查询优化器对查询进行分析，并生成一个执行计划，使执行查询所需的MapReduce作业数量最小。在地图阶段，输入数据被分割成较小的块，每个块由一个地图任务处理。地图任务对输入数据中的每条记录应用一个用户定义的函数，并生成一组键值对。在还原阶段，还原任务处理从洗牌和排序阶段收到的键-值对。减少任务对与每个键相关的值应用一个用户定义的函数，并生成一组输出记录。总之，Hive SQL查询的执行包括解析查询，优化查询，并生成执行计划。减少任务的输出被存储在HDFS中或返回给用户，这取决于查询。
简述 Hive 的执行流程：从 HQL 到 MapReduce/Spark 任务
2401_83088008的博客
03-19 1138
流程选择建议ETL 场景：优先使用 Spark 引擎，利用内存计算加速。超大规模批处理：MapReduce 的稳定性更优。调试工具EXPLAIN命令分析执行计划。YARN ResourceManager UI 监控任务状态。版本演进Hive 3.0 + 默认支持 Tez 引擎，延迟更低。Hive LLAP（Live Long and Process）实现亚秒级响应。
hive的sql语句是怎么运行的
最新发布
ITHomeZSL的博客
11-01 544
步骤组件职责1. 提交接收用户查询2-5. 编译与优化编译器 + 元存储解析SQL、验证元数据、生成并优化逻辑/物理计划6. 执行执行引擎 + YARN分布式执行任务（MapReduce/Tez/Spark）7. 取结果Driver获取结果并返回给UIHive 本身不存储和处理数据：数据存储在 HDFS 上，计算由 MapReduce/Tez/Spark 完成。Hive 只是一个“翻译官”和“调度员”。元数据是核心这样的语句并不在 HDFS 上创建数据，只是在Metastore。
Hive(五) -- Hive执行流程、数据倾斜和优化
BubbleMa
12-14 1663
Hive的数据倾斜实际上就是MR的数据倾斜
Hive学习之路 （二十）Hive 执行过程实例分析
weixin_33812433的博客
04-15 291
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 M...
Hive SQL的底层编译过程详解
yuan_more的博客
05-26 5246
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive 本文首发于公众号【五分钟学大数据】，公众号内可免费查看！ Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive.
Hive SQL执行流程
06-29
Hive SQL的执行流程通常包括以下几个步骤： 1. **解析（Parsing）**: 当用户提交Hive SQL语句时，Hive首先会通过词法分析器将其分解为可理解的语法结构。 2. **编译（Compiling）**: Hive将解析后的语法树转换为...
hive sql 执行流程
06-09
Hive SQL 执行流程如下： 1. 解析器（Parser）：将用户提交的 SQL 语句解析成抽象语法树（AST）。 2. 预处理器（Preprocessor）：对 AST 进行预处理，包括语法检查、表、列、分区等元数据检查、变量展开等。 3. ...
hivesql执行流程
09-03
综上所述，Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤，Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序，并实现查询的执行。...
精选资源
基于 Antlr4 的 Hive SQL 解析.zip
04-29
4. **实现解析器**：利用Antlr4生成的解析器类，处理输入的Hive SQL语句，构建并遍历AST，以执行语句的逻辑。 5. **测试和优化**：编写测试用例，确保解析器能够正确处理各种复杂的Hive SQL查询，同时优化性能，...
hive sql执行流程
10-08
Hive SQL 的执行流程主要包括三个步骤：元数据管理、SQL编译、MapReduce执行。 元数据管理是通过Metastore来管理的，Metastore可以使用Derby或者Mysql进行元数据存储和管理。 SQL编译是将Hive SQL语句转换为...
Hive（九）Hive 执行过程实例分析
weixin_42073629的博客
09-23 453
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式 2、Hive 操作符列表 3、Hive
HiveSQL的执行流程
weixin_45937224的博客
03-11 1664
HiveSQL的执行流程
Hive SQL的执行流程
04-20 407
执行计划 执行计划官网介绍 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain select select a.id, a.city, a.cate from access a whe...
hive的执行流程
weixin_33834075的博客
01-14 743
1. 执行流程概述 查看hive语句的执行流程：explain select ….from t_table …; 查看hive语句的执行流程：explain select ….from t_table …; 操作符是hive的最小执行单元 Hive通过execmapper和execreducer执行MapReduce程序，执行模式有本地模式和分布式模式 每个操作符代表一个 HDFS 操作或者 M...
Hive SQL执行流程详解
走过冬季
06-27 801
在 Apache Hive 中，一条 SQL 查询（HiveQL）的执行会经过多个步骤，涉及。
Hive SQL的执行流程分析
Binbinhb的博客
04-14 639
Hive SQL的执行流程分析 1）SQL执行非常慢 2）面试 select yyy,聚合函数 from xxx group by yyy; select a.*,b.* from a join b on a.id = b.id; 如果给你一个join，让你使用MR的功能来描述. 例子1： select a.id,a.city,a.cate from access a where a.da...
hive sql执行顺序
dudu3332的博客
04-05 1125
在hive和mysql中都可以通过explain+sql语句，来查看执行顺序。 对于一条标准sql语句，它的书写顺序是这样的： select … from … where … group by … having … order by … limit … （1）mysql语句执行顺序： from... where...group by... having....select...order by... limit … （2）hive语句执行顺序： from … where …se...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值