fengfengchen95的博客

什么是数据倾斜      简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。      相信大部分做数据的童鞋们都会遇到数据倾斜，数据倾斜会发生在数据开发的各个环节中，比如： 用Hive算数据的时候reduce阶段卡在99.99% 用SparkStreaming做实时算法...

MapReduce原理 要知道怎么对MapReduce作业进行调优前提条件是需要对Map-Reduce的过程了然于胸。  Map-Reduce运行原理图：  Map Side 1.从磁盘读取数据并分片 默认每个block对应一个分片，一个map task 2.进行map处理 运行自定义的map业务过程 3.输出数据到缓冲区中 map输出的数据并不是直接写入磁盘的，而是会先存储在一个...