Spark数据倾斜解决方案

1、执行流程

1.1、MapReduce执行流程

        核心思想：大问题拆分成多个小问题，然后分布式的并行执行

两个阶段：
1、mapper阶段： 提取数据，赋予特征 映射 value ====> key, value
        mapreducce框架是怎么把相同特征的数据组合到一起来，然后交给reduceTask执行一次聚合操作的呢
2、reducer阶段: 把相同特征的数据进行聚合操作 key, (value, value, ...)

1.2、Spark应用程序执行流程

        sparkContext.rextFile().flatMap().map().reduceByKey()

        首先让你确认，导致分布式计算应用改程序出现数据倾斜的原因就是 Shuffle 数据倾斜的调优，都是围绕着： 

1. 要么就不要使用shuffle
2. 要么就让shuffle在执行过程中均匀分发数据

    &