JH_Zhai的博客

经常听到资源超分，但是具体指的什么还不清楚，哪里来的术语。

不同于传统以整个执行计划为粒度进行调度的方式，AQE 会把执行计划基于 shuffle 划分成若干个子计划，每个子计划用一个新的叶子节点包裹起来，从而使得执行计划的调度粒度细化到 stage 级别 (stage 也是基于 shuffle 划分)。我们知道一般的 SQL 执行流程是，逻辑执行计划 -> 物理执行计划，而 AQE 的执行逻辑是，子物理执行计划 -> 父逻辑执行计划 -> 父物理执行计划，这样的执行流程提供了更多优化的空间。比如在对 Join 算子选择执行方式的时候可能有原来的。

正是因为 NLJ 极低的执行效率，所以在它推出之后没多久之后，就有人用排序、归并的算法代替 NLJ 实现了数据关联，这种算法就是 SMJ。SMJ 的思路是先排序、再归并。具体来说，就是参与 Join 的两张表先分别按照 Join Key 做升序排序。然后，SMJ 会使用两个独立的游标对排好序的两张表完成归并关联。

里面提到了Map端 Join Reduce端的倾斜。

Spark Shuffle FetchFailedException

Spark的内存管理

Spark 分区策略

https://www.dazhuanlan.com/zara329308/topics/1405081在 Spark 的 Scala 版本的Dataset API 文档中， 我们可以看到下列跟 repartition 有关的 APIdef repartition(numPartitions: Int): Dataset[T]def repartition(partitionExprs: Column*): Dataset[T]def repartition(numPartitions: Int,