Hive根据输入数据量计算reducer的数量，这个输入数据量是map阶段的输出结果还是客户端提交任务时的数据量？

在 Hive 中，Reducer 数量的自动计算是基于客户端提交任务时的原始输入数据量估算的，而非 Map 阶段的输出结果。具体规则和流程如下：

---

1. 核心逻辑

• 计算时机：
  Reducer 数量在**作业提交阶段（客户端）**确定，此时 Map 阶段尚未执行，因此只能基于原始输入数据的元信息（如文件大小、表统计信息）进行估算。

• 依赖数据量：
  Hive 使用输入表的原始数据量（存储在 HDFS 上的文件总大小）来估算 Reducer 数量，公式为：

  numReducers = min(ceil(原始输入数据总大小 / bytes.per.reducer), reducers.max)
  

  • bytes.per.reducer：由 hive.exec.reducers.bytes.per.reducer 定义（默认 256MB）；
  • reducers.max：由 hive.exec.reducers.max 定义（默认 1009）。

---

2. 潜在问题与优化

(1) 估算误差

• 场景：
  Map 阶段可能过滤大量数据或进行聚合（如 WHERE 过滤、Combiner 预聚合），导致实际输出数据量远小于原始输入。
• 后果：
  Reducer 数量可能被高估，生成过多小文件或资源浪费。

(2) 优化方法

• 手动指定 Reducer 数：
  根据经验或历史作业结果，直接设置 mapred.reduce.tasks：

  SET mapred.reduce.tasks = 20;  -- 显式指定 Reduce 任务数
  

• 动态调整参数：
  增大 bytes.per.reducer 或降低 reducers.max，减少自动估算的任务数：

  SET hive.exec.reducers.bytes.per.reducer = 536870912;  -- 512MB/Reducer
  SET hive.exec.reducers.max = 500;                      -- 最大 500 个 Reducer
  

• 收集统计信息：
  使用 ANALYZE TABLE 生成表统计信息（如行数、数据量），Hive 可基于更精确的元数据估算：

  ANALYZE TABLE table_name COMPUTE STATISTICS;  -- 收集表级统计信息
  ANALYZE TABLE table_name COMPUTE STATISTICS FOR COLUMNS;  -- 收集列级统计信息
  

---

3. 执行引擎的影响

• MapReduce 引擎：
  Reducer 数量在作业提交时确定，无法根据 Map 阶段的实际输出动态调整。

• Tez 引擎：
  支持动态调整 Reducer 数量（需开启 hive.tez.auto.reducer.parallelism=true），根据 Map 阶段输出量优化并行度。

---

4. 示例场景

(1) 原始输入数据量为 10GB

• 自动计算：
  numReducers = ceil(10*1024MB / 256MB) = 40（假设 reducers.max 足够大）。
• 实际 Map 输出为 2GB：
  每个 Reducer 仅处理约 51MB（2GB/40），远低于 bytes.per.reducer，导致资源浪费。

(2) 优化后

• 手动设置：
  SET mapred.reduce.tasks = 8; → 每个 Reducer 处理约 256MB（2GB/8）。

---

总结

关键点	说明
计算依据	客户端提交时的原始输入数据量（HDFS 文件大小），而非 Map 阶段实际输出。
误差风险	Map 阶段过滤或聚合可能导致 Reducer 数量不合理，需手动干预。
优化策略	手动指定 Reducer 数、调整参数、收集统计信息或使用 Tez 引擎动态优化。
执行引擎差异	MapReduce 静态分配，Tez 支持动态调整。

建议：

• 对数据过滤率高的作业，手动指定 Reducer 数量；
• 定期收集统计信息，提升 Hive 估算精度；
• 使用 Tez 引擎以支持动态资源分配。