Hive SQL执行流程分析

最新推荐文章于 2025-05-09 11:02:21 发布
最新推荐文章于 2025-05-09 11:02:21 发布
阅读量524 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shell33168/article/details/89344515
本文深入探讨了HiveSQL执行慢的原因，解析了其执行步骤，包括PredicatePushDown和MapJoin的发生阶段，详细讲解了groupby的过程，并通过mapreducecount过程说明了split、shuffle、reduce和combiner的工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为什么Hive SQL要分析过程

  1. sql执行非常慢

sql执行的步骤
在这里插入图片描述
Predicate Push Down 和MapJoin发生在逻辑执行计划还是物理执行计划？

group by的过程

mapreduce count过程：

  1. split ==> （word,1）
  2. shuffle:(word,1) partition ==> reduce
  3. reduce:(word,可迭代的(1,1,1,1…)) ⇒ （word,sum(可迭代的)）

group by的流程和mapreduce一模一样
combiner:本地的reduce，先做一个局部的聚合

【Hive基础】-- hive sql 的执行原理和流程
欢迎来到我的博客，一起探索代码里的世界！
03-21 1011
Hive查询优化器对查询进行分析，并生成一个执行计划，使执行查询所需的MapReduce作业数量最小。在地图阶段，输入数据被分割成较小的块，每个块由一个地图任务处理。地图任务对输入数据中的每条记录应用一个用户定义的函数，并生成一组键值对。在还原阶段，还原任务处理从洗牌和排序阶段收到的键-值对。减少任务对与每个键相关的值应用一个用户定义的函数，并生成一组输出记录。总之，Hive SQL查询的执行包括解析查询，优化查询，并生成执行计划。减少任务的输出被存储在HDFS中或返回给用户，这取决于查询。
简述 Hive 的执行流程：从 HQL 到 MapReduce/Spark 任务
2401_83088008的博客
03-19 991
流程选择建议ETL 场景：优先使用 Spark 引擎，利用内存计算加速。超大规模批处理：MapReduce 的稳定性更优。调试工具EXPLAIN命令分析执行计划。YARN ResourceManager UI 监控任务状态。版本演进Hive 3.0 + 默认支持 Tez 引擎，延迟更低。Hive LLAP（Live Long and Process）实现亚秒级响应。
Hive学习之路 （二十）Hive 执行过程实例分析
weixin_33812433的博客
04-15 275
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 M...
hivesql执行顺序详细
最新发布
KANGBboy的博客
05-09 500
where --> join --> group by --> having --> 开窗 --> order by --> limit --> select。连接、分组、过滤、窗口函数计算、排序和限制行数等。
Hive SQL的底层编译过程详解
yuan_more的博客
05-26 5129
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive 本文首发于公众号【五分钟学大数据】，公众号内可免费查看！ Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。 Hive.
Hive（九）Hive 执行过程实例分析
weixin_42073629的博客
09-23 438
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式 2、Hive 操作符列表 3、Hive
HiveSQL的执行流程
weixin_45937224的博客
03-11 1612
HiveSQL的执行流程
Hive SQL执行流程
06-29
Hive SQL的执行流程通常包括以下几个步骤： 1. **解析（Parsing）**: 当用户提交Hive SQL语句时，Hive首先会通过词法分析器将其分解为可理解的语法结构。 2. **编译（Compiling）**: Hive将解析后的语法树转换为...
hive sql 执行流程
06-09
Hive SQL 执行流程如下： 1. 解析器（Parser）：将用户提交的 SQL 语句解析成抽象语法树（AST）。 2. 预处理器（Preprocessor）：对 AST 进行预处理，包括语法检查、表、列、分区等元数据检查、变量展开等。 3. ...
基于 Antlr4 的 Hive SQL 解析.zip
04-29
4. **实现解析器**：利用Antlr4生成的解析器类，处理输入的Hive SQL语句，构建并遍历AST，以执行语句的逻辑。 5. **测试和优化**：编写测试用例，确保解析器能够正确处理各种复杂的Hive SQL查询，同时优化性能，...
hivesql执行流程
09-03
综上所述，Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤，Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序，并实现查询的执行。...
Hive SQL的执行流程
04-20 384
执行计划 执行计划官网介绍 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain select select a.id, a.city, a.cate from access a whe...
hive的执行流程
weixin_33834075的博客
01-14 720
1. 执行流程概述 查看hive语句的执行流程：explain select ….from t_table …; 查看hive语句的执行流程：explain select ….from t_table …; 操作符是hive的最小执行单元 Hive通过execmapper和execreducer执行MapReduce程序，执行模式有本地模式和分布式模式 每个操作符代表一个 HDFS 操作或者 M...
Hive SQL的执行流程分析
Binbinhb的博客
04-14 622
Hive SQL的执行流程分析 1）SQL执行非常慢 2）面试 select yyy,聚合函数 from xxx group by yyy; select a.*,b.* from a join b on a.id = b.id; 如果给你一个join，让你使用MR的功能来描述. 例子1： select a.id,a.city,a.cate from access a where a.da...
hive sql执行顺序
dudu3332的博客
04-05 1097
在hive和mysql中都可以通过explain+sql语句，来查看执行顺序。 对于一条标准sql语句，它的书写顺序是这样的： select … from … where … group by … having … order by … limit … （1）mysql语句执行顺序： from... where...group by... having....select...order by... limit … （2）hive语句执行顺序： from … where …se...
hive中sql执行顺序
weixin_43805212的博客
12-23 313
1.from 2.join on 或 lateral view explode(需炸裂的列) tbl as 炸裂后的列名 3.where 4.group by （开始使用select中的别名，从group 开始往后都可用） 5.聚合函数 如Sum() avg() count(1)等 6.having 7.select 中若包含over（）开窗函数，执行完非开窗函数后select等待执行完开窗函数，然后执行select完，开窗函数通过表数据进行分区和排序，跟select查询中的字段是平行关系，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值