Hive MapJoin 执行计划

最新推荐文章于 2025-06-04 12:22:52 发布
最新推荐文章于 2025-06-04 12:22:52 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： hive
本文对比分析Hive中使用与未使用MapJoin的执行计划差异，通过具体SQL案例，展示了如何通过调整hive.mapjoin.smalltable.filesize参数，实现MapJoin优化，减少Shuffle过程，提升大数据处理效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

本文通过展示hive.mapjoin.smalltable.filesize 这个参数的设置,来比较是否使用mapjoin的执行计划的区别

测试sql:

SELECT id, clienttime
FROM (
  SELECT id, clienttime, key
  FROM log_table
  WHERE day = '20180801'
) a1
LEFT JOIN (SELECT key, field2 FROM key_mapping) a2 ON a1.key = a2.key

1. 未使用mapjoin

STAGE DEPENDENCIES:
  Stage-4 is a root stage , consists of Stage-1
  Stage-1
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
  Stage: Stage-4
    Conditional Operator

  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: id_app_runtimes
            Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: id (type: string), clienttime (type: bigint), key (type: string)
              outputColumnNames: _col0, _col1, _col2
              Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col2 (type: string)
                sort order: +
                Map-reduce partition columns: _col2 (type: string)
                Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col0 (type: string), _col1 (type: bigint)
          TableScan
            alias: key_mapping
            Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: key (type: string), field2 (type: string)
              outputColumnNames: _col0, _col1
              Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col0 (type: string)
                sort order: +
                Map-reduce partition columns: _col0 (type: string)
                Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col1 (type: string)
      Reduce Operator Tree:
        Join Operator
          condition map:
               Left Outer Join0 to 1
          keys:
            0 _col2 (type: string)
            1 _col0 (type: string)
          outputColumnNames: _col0, _col1
          Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: _col0 (type: string), _col1 (type: bigint)
            Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
            File Output Operator
              compressed: false
              Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

2. 使用了mapjoin

STAGE DEPENDENCIES:
  Stage-4 is a root stage , consists of Stage-5, Stage-1
  Stage-5 has a backup stage: Stage-1
  Stage-3 depends on stages: Stage-5
  Stage-1
  Stage-0 depends on stages: Stage-3, Stage-1

STAGE PLANS:
  Stage: Stage-4
    Conditional Operator

  Stage: Stage-5
    Map Reduce Local Work
      Alias -> Map Local Tables:
        a2:key_mapping 
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        a2:key_mapping 
          TableScan
            alias: key_mapping
            Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: key (type: string),  (type: string)
              outputColumnNames: _col0, _col1
              Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
              HashTable Sink Operator
                keys:
                  0 _col2 (type: string)
                  1 _col0 (type: string)

  Stage: Stage-3
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: id_app_runtimes
            Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: id (type: string), clienttime (type: bigint), key (type: string)
              outputColumnNames: _col0, _col1, _col2
              Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
              Map Join Operator
                condition map:
                     Left Outer Join0 to 1
                keys:
                  0 _col2 (type: string)
                  1 _col0 (type: string)
                outputColumnNames: _col0, _col1
                Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
                Select Operator
                  expressions: _col0 (type: string), _col1 (type: bigint)
                  Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
                  File Output Operator
                    compressed: false
                    Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
                    table:
                        input format: org.apache.hadoop.mapred.TextInputFormat
                        output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                        serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
      Local Work:
        Map Reduce Local Work

  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: id_app_runtimes
            Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: id (type: string), clienttime (type: bigint), key (type: string)
              outputColumnNames: _col0, _col1, _col2
              Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col16 (type: string)
                sort order: +
                Map-reduce partition columns: _col2 (type: string)
                Statistics: Num rows: 3156646800 Data size: 1666709511947 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col0 (type: string), _col1 (type: bigint)
          TableScan
            alias: key_mapping
            Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: key (type: string), field2 (type: string)
              outputColumnNames: _col0, _col1
              Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col0 (type: string)
                sort order: +
                Map-reduce partition columns: _col0 (type: string)
                Statistics: Num rows: 145794 Data size: 29158920 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col1 (type: string)
      Reduce Operator Tree:
        Join Operator
          condition map:
               Left Outer Join0 to 1
          keys:
            0 _col2 (type: string)
            1 _col0 (type: string)
          outputColumnNames: _col0, _col1
          Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: _col0 (type: string), _col1 (type: bigint)
            Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
            File Output Operator
              compressed: false
              Statistics: Num rows: 3472311555 Data size: 1833380502879 Basic stats: COMPLETE Column stats: NONE
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

上述执行计划中:

  1. stage5 有一个Map Local Tables 和 HashTable Sink Operator
  2. stage3 有一个Map Join Operator

两个stage结合起来完成了mapjoin 这样一个过程

而后面多出的stage1则是一个备份任务,即 stage5如果执行成功的话就不会执行该stage

3. 总结

使用mapjoin会多一个stage,但是将map-reduce简化成了一个单纯的map任务,少了一个shuffle和聚合的动作,最终执行的时候会更快

数仓工具—Hive进阶之执行计划(4)
01-09 6万+
执行计划explain 执行计划这个东西无论是在hive里还是数据库管理系统中都是很重要的，因为它可以帮助我们理解SQL的执行，从而更好的去优化SQL，而不是一味的凭经验去做一些操作，使其看起来像神学。hive 也通过explain 提供了如何让用户去获得一个查询语句的执行计划 一般情况下一个SQL执行计划有两个部分：stage dependencies描述了各个stage之间的依赖性，stage plan描述了各个stage的执行细节，每个Stage 的执行计划几乎是由两部分组成的Map Operator
Hive优化:Hive的执行计划、分桶、MapJoin、数据倾斜
m0_70882914的博客
10-18 1453
Hive优化:Hive的执行计划、分桶、MapJoin、数据倾斜
Hive mapjoin的执行计划解读
浅汐
05-08 962
创建两张表，以emp表和dept表为例： create table emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int )row format delimited fields terminated by '\t'; 加载数...
hive执行计划分析（join详解）
程老师的博客
07-29 1168
我们都知道执行的hive sql是需要编译成MapReduce任务去执行的，那是如何编译的呢，可以分为六个阶段： Antlr定义SQL的语法规则，完成SQL词法、语法解析，将SQL转化为抽象语法树AST Tree 遍历AST Tree，抽象出查询的基本组成单元QueryBlock 遍历QueryBlock，翻译为执行操作树OperatorTree 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量 遍历OperatorTree，翻译为M
如何优化Hive Join：提升大数据查询效率的实战技巧
最新发布
Kiss1024b的博客
06-04 571
Hive Join优化是提升大数据查询性能的关键。本文将介绍几种常见的优化策略，包括调整Join顺序、使用MapJoin、合理选择Join类型、分区表设计以及并行度优化等。
Hive mapjoin使用
lquarius的博客
07-31 8988
方法一 set hive.auto.convert.join = true; --是否开自动mapjoin set hive.mapjoin.smalltable.filesize;--mapjoin的表size大小 以上两个参数同时使用，在hive.auto.convert.join为true时，只要小表size小于hive.mapjoin.smalltable.filesize的设置值，并且小表不是关联操作的最后一张表，小表就会走mapjoin。 set hive.auto.conve...
【Hive】性能调优 - Map JOIN
qq_40382400的博客
06-03 1058
map-side JOIN可以省掉reduce过程，从而提高Hive效率；Hive 0.11.0版本后，默认开启自动map-side JOIN优化，我们需要合理调整hive.auto.convert.join.noconditionaltask.size参数值。
hive之Map Join使用方法
热门推荐
ImezZ
04-08 1万+
介绍 MAPJION会把小表全部加载到内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。 如上图中的流程，首先Task A在客户端本地执行，负责扫描小表b的数据，将其转换成一个HashTable的数据结构，并写入本地的文件中，之后将该文件加载到DistributeCache中。 接下来的Task B任务是一个没有Reduce的MapReduce，启动MapTasks扫描大表...
hive mapjoin正确写法，多张表mapjoin正确写法
ccstargazing的博客
09-28 2951
mapjoin相关参数：https://blog.youkuaiyun.com/ccstargazing/article/details/106564262 直接举例子：当有多张维度表去关联一张事实表，并且主表的某一关联键使用了不止一次。 事实表：base，三个字段：key、city_code、biz_id 维度表：position，六个字段：city_code、biz_id、city_name、city_short、biz_name、biz_short。 常规写法: select t1.key a
hive的map-join原理
CLKTOY的博客
11-08 1199
目录1- Join如何运行2- 使用分布式缓存3- 根据文件大小将Join转换为MapJoin4- Example 1- Join如何运行 首先，让我们讨论一下 Join 如何在Hive中运行。Common Join 操作如图1所示被编译为 MapReduce 任务。Common Join 任务涉及 Map 阶段和 Reduce 阶段。Mapper 从连接表中读取数据并将连接的 key 和连接的 value 键值对输出到中间文件中。Hadoop 在所谓的 shuffle 阶段对这些键值对进行排序和合并。Re
hive的Reduce join与Map join
Realoyou的博客
02-01 2980
说明 hive 中的join可分为俩类，一种是common join（也叫Reduce join或shuffle join),另一种是 map join，后者是对hive join的一个优化，利用本地的task对较小的表hash生产一个hashtable文件，然后直接和map出来另一个表进行匹配，最终完成join\ set hive.auto.convert.join = false 在0.7...
Intel李锐：Hive on Spark解析
雲的博客
07-22 771
Hive是基于Hadoop平台的数据仓库，最初由Facebook开发，在经过多年发展之后，已经成为Hadoop事实上的SQL引擎标准。相较于其他诸如Impala、Shark（SparkSQL的前身）等引擎而言，Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。Hive最初的计算引擎为MapReduce，受限于其自身的Map+Reduce计算模式，以及不够充分的大内利用，MapReduce
一文读懂 Hive Explain 执行计划
eli的博客
09-07 804
Hive 是基于 Hadoop，实现了通过 SQL 操作 MapRedue 任务，简化了大数据编程的难度，使得普通用户也可以完成大数据程序开发。SQL 目前是使用最为广泛的结构化数据操作语言，未来大数据框架对 SQL 的支持也必将是一种趋势。Hive 在经过一系列编译过程后生成执行计划并提交 MapReduce 等执行引擎端，数据开发人员除了具备 SQL 的编程能力之外， 还必须具备 SQL 执行效率定位能力，而执行计划就是开发人员快速打开 SQL 优化大门的一把钥匙。
HIVE MapJoin异常问题处理总结
Make progress step by step everyday.....
06-29 3929
HIVE MapJoin异常问题处理总结 转转： https://yq.aliyun.com/articles/64306 问题描述 在跑hive作业的时候，偶尔会遇到下面的异常 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 。
Hive执行计划初步了解
淡定一生2333的博客
02-12 1303
21
初识hive（学习笔记）
weixin_69402201的博客
05-07 1927
什么是Hive 1） hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 2） Hive本质：将HQL转化成MapReduce程序。 Hive架构原理 驱动器：Driver （1）解析器（SQL Parser）：语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。 （2）编译器（Physical Plan）：编译生成逻辑执行计划。 （3）优化
Hive性能调优方法--（王家林视频教程) 学习笔记
weixin_33725722的博客
03-05 797
一. Hive性能调优综述 Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化，而不会革命性的优化Hive的性能，产生这种现象的原因有： 历史原因和思维定势：大家学习SQL的时候一般都是单机Database，这个时候性能优化技巧确实主要是SQL语法和参数调优。 Hive的核心性能问题往往是产生在超过规模的数据集，例如说100亿条级别的数据集，以...
hive explain 执行计划详解看懂执行过程
liuya19921123的博客
10-01 4461
HIVE简介 讲explain之前，先了解大家常说的用hive查询取数和etl的过程，但是在讲hive查询取数过程，又得先了解大家又常说的hadoop集群到底是干什么的？ 一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。 Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进
hive执行计划简单分析
anjieqing1102的博客
12-21 677
原始SQL: select a2.ISSUE_CODE as ISSUE_CODE, a2.FZQDM as FZQDM, a2.FZQLB as FZQLB, a2.FJJDM as FJJDM, a3.FSETCODE as FSETCODE, ...
hive map join 原理图
03-13
<think>嗯，用户想了解Hive中Map Join的工作原理，并且希望用图表来展示。首先，我需要回忆一下Hive的Map Join相关知识。记得Map Join主要是为了优化小表和大表的连接操作，避免Shuffle和Reduce阶段的开销。根据用户提供的引用内容，MapJoin是在Map阶段将小表加载到内存中，生成HashTableFiles，然后处理大表的数据进行连接。 接下来，我需要整理Map Join的工作步骤。首先，驱动表应该是小表，对吧？Hive会自动识别小表的大小，如果符合条件就会启用Map Join。然后，在Map阶段，小表的数据会被读取到内存，并构建成哈希表。之后处理大表的每个记录，用连接键去哈希表里查找匹配项，合并结果直接输出。整个过程不需要Shuffle和Reduce，这样效率更高。 用户提到需要图解，虽然文本形式无法画图，但可以通过文字描述图表的结构。例如，流程图分Map阶段和可能的Distributed Cache步骤。需要确保每个步骤对应引用中的内容，比如引用[1]和[3]提到的小表加载和分布式缓存的作用。可能还需要比较Common Join和Map Join的区别，如引用[2]和[4]中的Common Join流程，涉及Shuffle和Reduce阶段。 另外，用户可能对优化细节感兴趣，比如为什么使用分布式缓存，或者小表的大小限制。根据引用[3]，当大量Mapper同时读取小表时，可能会有性能问题，所以用分布式缓存来缓解。这部分需要解释清楚，避免用户混淆。 然后，生成相关问题时要考虑用户可能的后续疑问，比如如何配置小表大小、Map Join的限制，或者性能调优的方法。这些问题需要基于已有的引用内容，确保答案的相关性和准确性。 最后，确保整个回答符合格式要求：行内公式用$，独立公式用$$，正确的中文回答，结构清晰。同时，引用标识要正确对应，比如引用[1]对应MapJoin的基本原理，引用[3]对应分布式缓存的作用，引用[4]对比Common Join的流程。 总结一下，回答的结构应该是先解释工作原理，分步骤描述，然后对比Common Join，再用文字图表展示流程，最后列出相关问题。需要确保每个关键点都有对应的引用支持，并且语言简洁明了，便于用户理解。</think>### Hive Map Join 工作原理图解说明 #### 一、核心原理 MapJoin 是 Hive 在 Map 阶段完成表连接的一种优化手段，**适用于小表（维度表）与大表（事实表）的 Join 操作**。其核心步骤如下： 1. **小表加载**：将小表数据从 HDFS 读取到内存，构建为 **哈希表（HashTable）**[^1]。 2. **大表处理**：顺序扫描大表，逐行用 Join Key 查询内存中的哈希表，匹配后直接输出结果[^3]。 3. **规避 Shuffle/Reduce**：整个过程仅在 Map 阶段完成，无需数据重分区和 Reduce 阶段[^2]。 #### 二、流程对比（文字图表） ``` |---------------MapJoin 流程---------------| 1. 驱动表（小表） │ ├─ 从 HDFS 加载到内存 → 构建哈希表（Key: Join列，Value: 其他列） │ 2. 被驱动表（大表） │ ├─ 逐行扫描大表数据 │ ├─ 用 Join Key 查询内存哈希表 │ └─ 匹配成功则合并两表数据 → 直接输出结果 ``` #### 三、与 Common Join 对比 | **特性** | **MapJoin** | **Common Join** | |------------------|--------------------------------------|--------------------------------------| | **执行阶段** | 仅 Map 阶段 | Map + Shuffle + Reduce 阶段 | | **数据移动** | 无 Shuffle | 需按 Key 分区到 Reducer[^4] | | **适用场景** | 小表（几十MB内） | 大表间 Join | | **性能瓶颈** | 小表加载内存的并行度[^3] | Shuffle 网络开销和 Reducer 计算压力 | #### 四、优化扩展 - **分布式缓存**：当小表较大时，通过分布式缓存（Distributed Cache）将哈希表分发给所有 Mapper，避免集中读取 HDFS 的性能瓶颈。 - **自动触发条件**：Hive 默认根据 `hive.auto.convert.join` 参数判断小表大小（如 `hive.mapjoin.smalltable.filesize=25MB`）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值