Hive 的工作流程

最新推荐文章于 2025-09-14 19:47:35 发布
原创 最新推荐文章于 2025-09-14 19:47:35 发布 · 3.4k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Hive查询执行的整个过程，包括查询的接收、解析、编译、执行和结果返回等关键步骤。此外，还深入探讨了元数据操作、MapReduce任务调度以及结果集的获取方式。

 1.(执行查询操作)Execute Query
        命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序，如JDBC、ODBC等)以执行。
2.(获取计划任务)Get Plan
        Driver借助查询编译器解析查询，检查语法和查询计划或查询需求
3.(获取元数据信息)Get Metadata
       编译器将元数据请求发送到Metastore(任何数据库)。
4.(发送元数据)Send Metadata
       Metastore将元数据作为对编译器的响应发送出去。
5.(发送计划任务)Send Plan   
       编译器检查需求并将计划重新发送给Driver。到目前为止，查询的解析和编译已经完成
6.(执行计划任务)Execute Plan
       Driver将执行计划发送到执行引擎。
7.(执行Job任务)Execute Job
       在内部，执行任务的过程是MapReduce Job。执行引擎将Job发送到ResourceManager, 
       ResourceManager位于Name节点中，并将job分配给datanode中的NodeManager。在这里，查询执行MapReduce任务.
      7.1.(元数据操作)Metadata Ops
       在执行的同时，执行引擎可以使用Metastore执行元数据操作。
8.(拉取结果集)Fetch Result
       执行引擎将从datanode上获取结果集；

 9.(发送结果集至driver)Send Results
       执行引擎将这些结果值发送给Driver。
10.(driver将result发送至interface)Send Results
       Driver将结果发送到Hive接口
 

简述 Hive 的执行流程：从 HQL 到 MapReduce/Spark 任务
2401_83088008的博客
03-19 1164
流程选择建议ETL 场景：优先使用 Spark 引擎，利用内存计算加速。超大规模批处理：MapReduce 的稳定性更优。调试工具EXPLAIN命令分析执行计划。YARN ResourceManager UI 监控任务状态。版本演进Hive 3.0 + 默认支持 Tez 引擎，延迟更低。Hive LLAP（Live Long and Process）实现亚秒级响应。
Hive：概述、体系架构、工作流程
Jodness' Blogs
07-14 1403
目录 1、Hive概述 1.1、Hive是什么 1.2、数据仓库的特点 1.3、Hive优缺点 1.3.1、优点 1.3.2、缺点 1.4、Hive与传统数据库对比 1.4.1、读时模式与写时模式 1.4.2、更新 1.4.3、索引 1.4.4、数据存储 1.4.5、可扩展性 1.5、Hive与HBase 2、Hive体系架构 3、工作流程 1、Hive概述 1....
Hive(五) -- Hive执行流程、数据倾斜和优化
BubbleMa
12-14 1674
Hive的数据倾斜实际上就是MR的数据倾斜
hive的执行流程
weixin_33834075的博客
01-14 746
1. 执行流程概述 查看hive语句的执行流程：explain select ….from t_table …; 查看hive语句的执行流程：explain select ….from t_table …; 操作符是hive的最小执行单元 Hive通过execmapper和execreducer执行MapReduce程序，执行模式有本地模式和分布式模式 每个操作符代表一个 HDFS 操作或者 M...
Hive学习之路 （二十）Hive 执行过程实例分析
weixin_33812433的博客
04-15 293
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 M...
Hive 工作流程源码分析
Yannick Jiang 的专栏
01-04 4723
1.    简介 主要介绍Hive的parse enginer(包括HQL->TaskTree) Hive版本:1.2.1 HiBench 版本: v6 Hadoop 版本: 2.7.12.    Hive 与 传统RDBMS的区别  3.    Hive架构   4.    Hive 源码中3个关键的部分 (version Hive-1.2.1):  Hive核心三大组件    ...
Hive原理与工作机制
weixin_44389522的博客
11-19 1211
Hive原理与工作机制 目录Hive原理与工作机制一、Hive是什么？二、Hive解决了怎样的问题三、HIve相关组件1.服务端组件2.客户端组件四、hive查询执行过程 一、Hive是什么？ hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。 二、Hive解决了怎样的问题 在Had
Hive存储过程详解与应用
最新发布
ITHomeZSL的博客
09-14 974
Hive 除了存储过程，还提供了用户自定义函数（UDF）来扩展功能。特性存储过程 (Stored Procedure)用户自定义函数 (UDF, UDAF, UDTF)主要功能封装复杂的业务逻辑流程，包含多条 SQL 语句扩展 Hive 的表达式功能，用于处理单行或多行数据并返回结果执行方式使用CALL语句独立调用在 SQL 查询中像内置函数一样使用 (e.g.,返回值可以没有返回值，或有多个输出参数 (OUT)通常返回一个值 (UDF), 聚合值 (UDAF) 或表 (UDTF)适用场景。
hive源码解析之hive执行过程
huanruiqi的专栏
01-07 1024
转载地址：http://www.aboutyun.com/thread-10854-1-1.html   1347020447_1379.jpg (29.14 KB, 下载次数: 0) 下载附件  保存到相册 2014-12-26 23:04 上传 1.入口  /bin/cli.sh        调用CliDriver类进行初始化过程 
Hive（九）Hive 执行过程实例分析
weixin_42073629的博客
09-23 457
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式 2、Hive 操作符列表 3、Hive
Hive执行流程
mojolang
02-09 1633
当你去执行一个HiveQL的时候，其实它里面做了好多东西。 现在有一批数据，数据量不算太大，当你对它们执行一个SQL，但是执行起来特别慢，为什么会这么慢？是不是要分析这个SQL它内部做了些什么？怎么去调优？让它跑起来更快呢？这些的前提是你对hive内部的机制非常了解的情况下，才会知道问题的所在。 你输入一个sql字符串，那么也就是一串字符串，hive怎么认识这个字符串？它又怎么去运行这个字符串？是不是要去解析它?是不是要检查语法有没有问题？ 不管是Hive，还是其它SQL的大数据的框架，比如Spark等等，
hive执行流程
qq_21705851的博客
03-21 530
一、基本概念 (1) 解释器：解释器的作用是将 HiveSQL 语句转换为抽象语法树（AST） (2) 编译器：编译器是将语法树编译为逻辑执行计划 (3) 优化器：优化器是对逻辑执行计划进行优化 (4) 执行器：执行器是调用底层的运行框架执行逻辑执行计划 二、流程 　　HiveQL 通过命令行或者客户端提交，经过 Compiler 编译器，运用 MetaStore 中的元数 据进行类型检测和语法分...
Hive的体系结构和工作流程学习笔记
陆山右的技术博客
12-15 376
备注：此博客为转载，方便自己总结学习进步，原作者地址请点击此处 HIVE是什么？ Hive是hadoop上处理结构化数据的数据仓库基础工具，用来处理存储在hadoop上的海量数据,使用hive可以使查询和分析变得更简单。 Hive起初是有facebook开发,后来贡献给apache基金会的，apache对它做了进一步的开发并开源。 Hive不合适做哪些事情？ 1.hive不是一个关系型数据库 2....
Hive SQL的执行流程
weixin_30790841的博客
04-22 321
【为什么要了解hive执行流程】 .当我们写了一个sql，但是执行起来很慢，这时如果我们知道这个sql的底层执行流程是怎样的，就会比较容易去优化 .如果我们在面试中被问及对hive的理解，如果说就是写sql会显得很片面，如果我们了解hive的执行流程，就会知道，虽然表面上是写sql，但是在从hive的sql，到最终出来执行结果，中间经历了MR流程，其中MR的map，combiner，shu...
Hive工作流程
狂躁的辣条的博客
07-19 760
1、interface 指的是Hive的用户接口，也就是client 2、client将 hql提交到Hive的 Driver，Driver查询编译器，分析查询语法和查询计划或者查询要求，然后发送给compiler 3、compiler发送给元数据请求到metastore，查看需要的表，字段等是否存在。 4、metastore响应编译器的元数据请求，如果满足要求就返回结果给compiler，否则...
Hive的执行流程
qq_45275284的博客
03-25 546
用户提交查询等任务给Driver。 编译器获得该用户的任务Plan。 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。 将最终的计划提交给Driver。 6.Driver将计划Plan转交给ExecutionEngine去执行，获
Hive执行流程分析
liwei_1988的专栏
03-08 2952
先看0.7.1的执行过程： hive> select * from table02 where id=500000;对于这样的一个查询，Hive从CliDriver这个类的main函数开始： CliDriver.main(String[] args) CliSessionState ss=new CliSessionState(new HiveConf(SessionState.
hive的结构和执行流程
qq_42456324的博客
06-24 3159
hive的结构 hive执行流程 a. 通过用户接口组件，如命令行方式、页面操作方式或不同驱动程序（JDBC、ODBC等）的客户端，向Hive Driver发送执行命令。目的是获取查询结果。 b. 获取查询计划，Driver拿到执行命令后，会向Complier（编译器）获取查询计划 c. 获取元数据信息，编译器生成查询计划，首先要获取相关的元数据信息。此步骤为编译器向元数据组间获取元数据信息。 d. 元数据组间向编译器发送元数据信息 e. 编译器根据获取元数据信息生产计划计划 f.
Hive的工作流程图
05-08
### Hive 数据处理工作流程 Hive 是一种建立在 Hadoop 上的分布式数据仓库工具，主要用于大规模数据分析和查询。其核心功能是通过类似于 SQL 的查询语言（即 HiveQL）来简化复杂的大规模数据处理任务[^4]。 以下是 Hive 数据处理的主要工作流程： #### 1. 用户提交 Hive 查询 用户通过 CLI 或其他接口（如 Beeline、JDBC/ODBC 驱动程序）提交 HiveQL 查询语句[^2]。 #### 2. 解析器解析查询 Hive 接收到查询后，会进入编译阶段。在此阶段，语法树被构建，并由元数据存储服务 MetaStore 提供表结构和其他必要信息以验证查询的有效性[^3]。 #### 3. 执行计划生成 经过解析后的查询会被转换成一系列 MapReduce 或 Tez 作业的任务执行计划。此过程涉及逻辑计划到物理计划的转化，具体包括以下几个子步骤： - **逻辑计划生成**：将用户的 HiveQL 转换成抽象的逻辑运算符树。 - **优化器作用**：应用多种优化规则（如列裁剪、谓词下推等），提高性能。 - **物理计划生成**：最终生成可被执行的具体任务列表[^5]。 #### 4. 分发任务给底层框架 生成的执行计划随后交给 Hadoop 的资源调度系统（通常是 YARN）。这些任务可以是以 MapReduce 形式运行的传统批处理作业，也可以是在更高效的引擎（如 Apache Tez 或 Spark）上运行的新一代计算任务。 #### 5. 结果返回与存储 当所有分配出去的任务完成之后，汇总的结果会被写回到目标位置或者直接反馈给客户端作为响应输出[^3]。 --- ### 工作流图概述 虽然无法直接绘制图形，但可以用文字描述一个典型的 Hive 处理流程图表应包含的关键节点及其连接关系如下所示： ``` 用户输入 -> 编译器 (Parser) -> 元数据校验(MetaStore) -> |-> 计划生成(Plan Generator) -> 优化(Optimizer) -> |-> 物理执行(Tez/Yarn/MR) -> |-> 输出结果 ``` 对于实际使用的可视化版本，则建议查阅官方文档或第三方资料获取更加直观形象化的表示形式。 ```mermaid graph TD; A[用户输入] --> B{编译}; B --> C[MetaStore]; C --> D{计划生成}; D --> E[优化]; E --> F[(Tez/Yarn/MR)]; F --> G[输出结果]; ``` > 注：以上 Mermaid 图仅用于示意，在某些环境下可能不可见。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值