Hive工作流程

Hive工作流程

1.通过客户端提交一条Hql语句

2.通过complier(编译组件)对Hql进行词法分析、语法分析。在这一步,编译2器要知道此Hql语句到底要操作哪张表

3.去元数据库找表信息

4.得到信息

5.complier编译器提交Hql语句分析方案。

6-1.executor执行器收到方案后,执行方案(DDL过程)。在这里注意,执行器在执行方案时,会判断:如果当前方案不涉及到MR组件,比如为表添加分区信息、比如字符串操作等,比如简单的查询操作等,此时就会直接和元数据库交互,然后去HDFS上去找具体数据。如果方案需要转化成MR job,则会将job提交给Hadoop的JobTracker。

6-2.MR job完成,并且将运行结果写入到HDFS上

6-3.执行器和HDFS交互,获取结果文件信息。

7.如果客户端提交Hql语句是带有查询结果性的,则会发生:7-8-9步,完成结果的查询。

### Hive 数据处理工作流程 Hive 是一种建立在 Hadoop 上的分布式数据仓库工具,主要用于大规模数据分析和查询。其核心功能是通过类似于 SQL 的查询语言(即 HiveQL)来简化复杂的大规模数据处理任务[^4]。 以下是 Hive 数据处理的主要工作流程: #### 1. 用户提交 Hive 查询 用户通过 CLI 或其他接口(如 Beeline、JDBC/ODBC 驱动程序)提交 HiveQL 查询语句[^2]。 #### 2. 解析器解析查询 Hive 接收到查询后,会进入编译阶段。在此阶段,语法树被构建,并由元数据存储服务 MetaStore 提供表结构和其他必要信息以验证查询的有效性[^3]。 #### 3. 执行计划生成 经过解析后的查询会被转换成一系列 MapReduce 或 Tez 作业的任务执行计划。此过程涉及逻辑计划到物理计划的转化,具体包括以下几个子步骤: - **逻辑计划生成**:将用户的 HiveQL 转换成抽象的逻辑运算符树。 - **优化器作用**:应用多种优化规则(如列裁剪、谓词下推等),提高性能。 - **物理计划生成**:最终生成可被执行的具体任务列表[^5]。 #### 4. 分发任务给底层框架 生成的执行计划随后交给 Hadoop 的资源调度系统(通常是 YARN)。这些任务可以是以 MapReduce 形式运行的传统批处理作业,也可以是在更高效的引擎(如 Apache Tez 或 Spark)上运行的新一代计算任务。 #### 5. 结果返回与存储 当所有分配出去的任务完成之后,汇总的结果会被写回到目标位置或者直接反馈给客户端作为响应输出[^3]。 --- ### 工作流图概述 虽然无法直接绘制图形,但可以用文字描述一个典型的 Hive 处理流程图表应包含的关键节点及其连接关系如下所示: ``` 用户输入 -> 编译器 (Parser) -> 元数据校验(MetaStore) -> |-> 计划生成(Plan Generator) -> 优化(Optimizer) -> |-> 物理执行(Tez/Yarn/MR) -> |-> 输出结果 ``` 对于实际使用的可视化版本,则建议查阅官方文档或第三方资料获取更加直观形象化的表示形式。 ```mermaid graph TD; A[用户输入] --> B{编译}; B --> C[MetaStore]; C --> D{计划生成}; D --> E[优化]; E --> F[(Tez/Yarn/MR)]; F --> G[输出结果]; ``` > 注:以上 Mermaid 图仅用于示意,在某些环境下可能不可见。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值