hive mapjoin 原理

Hive 的 MapJoin（也称 Broadcast Join） 是一种避免 Reduce 阶段 Shuffle 的高效 JOIN 优化技术，其核心思想是：将小表全量加载到每个 Mapper 的内存中，直接在 Map 阶段完成 JOIN。

---

✅ 一、MapJoin 适用场景

• 大表 JOIN 小表（小表能完全放入 Mapper 内存）
• 常用于维度表（如用户信息、商品类目）与事实表关联

---

✅ 二、MapJoin 工作原理（分步详解）

步骤 1️⃣：识别小表

• Hive 根据配置（如 hive.auto.convert.join.noconditionaltask.size=10MB）判断某张表是否为“小表”。
• 若开启自动优化（hive.auto.convert.join=true），或使用 /*+ MAPJOIN(b) */ Hint，则触发 MapJoin。

步骤 2️⃣：小表缓存到 DistributedCache

• 在 Job 提交前，Hive 将小表的数据文件上传到 HDFS 的临时目录；
• 通过 Hadoop DistributedCache 机制，将该文件分发到所有 TaskManager/NodeManager 节点；
• 每个 Mapper 启动时，从本地磁盘读取小表数据，加载到内存（通常构建为 HashTable）。

📦 内存结构示例：

Map<join_key, List<small_table_row>> hashTable = new HashMap<>();
// 如 key="1001" → [row1, row2, ...]

步骤 3️⃣：Mapper 流式处理大表 + 内存 JOIN

• Mapper 逐行读取大表数据；
• 对每行的 JOIN Key，在内存 HashTable 中查找匹配的小表记录；
• 直接输出 JOIN 结果（无 Shuffle，无 Reducer）。

[Mapper 1]       [Mapper 2]       [Mapper N]
   │                │                │
   ├─ 加载小表副本 ──┤                │
   │ (HashTable)    │ (HashTable)    │ (HashTable)
   │                │                │
   ├─ 扫描大表分片 ──┼─ 扫描大表分片 ──┼─ 扫描大表分片
   │                │                │
   └─ 内存 JOIN     └─ 内存 JOIN     └─ 内存 JOIN
        ↓                ↓                ↓
     输出结果         输出结果         输出结果

---

✅ 三、MapJoin vs Common Join（ReduceJoin）

特性	MapJoin	Common Join
是否需要 Reducer	❌ 不需要	✅ 需要
Shuffle 数据量	0（小表广播，大表不 shuffle）	大表 + 小表全 shuffle
网络开销	小（仅广播小表一次）	大（全量数据跨节点传输）
适用表大小	小表 ≤ 内存（通常 < 1GB）	任意大小
执行阶段	只有 Map Stage	Map + Reduce Stage

💡 性能提升：避免了昂贵的 Shuffle 和 Reduce 排序，速度可提升数倍至数十倍。

---

✅ 四、MapJoin 的限制与注意事项

⚠️ 1. 小表必须足够小

• 默认阈值仅 10MB（Hive 0.11+），生产常调大至 512MB~1GB；
• 超出 Mapper 内存 → OOM 失败。

⚠️ 2. 只支持等值 JOIN

• ON a.id = b.id ✅
• ON a.id > b.id ❌（非等值 JOIN 无法用 Hash 查找）

⚠️ 3. 不支持 FULL OUTER JOIN

• 支持：INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN
• 不支持：FULL OUTER JOIN（因无法保证两边都广播）

⚠️ 4. 多表 JOIN 时，所有小表总和不能超阈值

• a JOIN b JOIN c：若 b 和 c 是小表，则 size(b) + size(c) <= noconditionaltask.size

---

✅ 五、如何确认 MapJoin 生效？

方法 1：查看执行计划

EXPLAIN
SELECT /*+ MAPJOIN(b) */ a.*, b.name
FROM big_table a JOIN small_table b ON a.id = b.id;

✅ 成功标志：

• 出现 Map Join Operator
• 无 Reduce Operator Tree
• Stage 只有 Map 1

方法 2：观察 Job 日志

• 只有 Map 任务，无 Reduce 任务；
• 日志中出现：Converting common join to map join

---

✅ 六、生产最佳实践

-- 1. 开启自动 MapJoin（默认已开）
SET hive.auto.convert.join=true;

-- 2. 调大阈值（根据集群内存）
SET hive.auto.convert.join.noconditionaltask.size=536870912; -- 512MB

-- 3. 确保小表只含必要字段（减少内存占用）
CREATE TEMPORARY TABLE dim_user_small AS
SELECT user_id, name, city FROM dim_user WHERE dt='latest';

-- 4. 强制 Hint（保险起见）
SELECT /*+ MAPJOIN(dim_user_small) */ ...

---

📌 面试总结（一句话）

Hive MapJoin 通过将小表广播到所有 Mapper 内存中构建 Hash 表，在 Map 阶段直接完成 JOIN，避免了 Reduce Shuffle，大幅提升性能；但要求小表足够小、JOIN 条件为等值，且不支持 FULL OUTER JOIN。

这是 Hive 性能优化中最基础也最重要的技术之一。