大数据-join导致的数据倾斜总结

Join操作是导致数据倾斜最常见、最严重的场景之一。处理Join倾斜的思路核心是：避免某个Key的数据被集中到一个Task上进行处理。

以下是针对Join数据倾斜的详细处理方案，从简单到复杂：

---

1. 优先尝试：Map Join (Broadcast Join)

• 适用场景：一张表非常小（比如几百MB），另一张表很大。
• 问题根源： common join (reduce join) 需要Shuffle，大Key会导致Reduce端倾斜。
• 解决方案：
  • 将小表直接分发到每个Map任务所在节点的内存中。
  • 在Map阶段，大表的每条数据直接与内存中的小表进行关联，完全避免Shuffle和Reduce阶段，从而从根本上杜绝了倾斜。
• 如何实现：
  • Hive： 设置自动开启Map Join，并调整小表阈值。

  SET hive.auto.convert.join = true; -- 默认开启
  SET hive.mapjoin.smalltable.filesize = 25000000; -- 小表大小阈值（默认25M），可调大
  

  • Spark： 自动触发Broadcast Join，也可手动指定。

  // 方式1：让Spark自动决定（spark.sql.autoBroadcastJoinThreshold）
  // 方式2：手动强制广播
  val df_large = ...
  val df_small = ...
  val df_result = df_large.join(broadcast(df_small), Seq("join_key"), "inner")
  

2. 分离倾斜Key：Skew Join Strategy

• 适用场景：大表Join大表，但其中一个表的Join Key存在明显倾斜的Key（如NULL、特定值）。

• 核心思想：“分而治之”。将倾斜的Key和非倾斜的Key分开处理，最后合并结果。

• 详细步骤：

  1. 识别倾斜Key：通过采样、分组计数找到导致倾斜的Key（如key_skew）。
  2. 分离数据流：
     • 倾斜Key子集：从表A和表B中分别抽出join_key = key_skew的所有数据。