Flink详解系列之九--反压机制和处理

反压是什么

反压是在实时数据处理中，数据管道某个节点上游产生数据的速度大于该节点处理数据速度的一种现象。反压会从该节点向上游传递，一直到数据源，并降低数据源的摄入速度。这在流数据处理中非常常见，很多场景可以导致反压的出现，比如, GC导致短时间数据积压，数据的波动带来的一段时间内需处理的数据量大增，甚至是checkpoint本身都可能造成反压。

反压的原理

上面是一个Flink任务的流程图，我们将反压过程拆分成两个部分：跨TaskManager的反压过程和TaskManager内的反压过程，最后再介绍一下基于Credit的反压过程。

跨TaskManager的反压过程

跨TaskManager的反压是怎么向上游传播的呢？在这之前我们先了解一下Flink中TaskManager 之间数据的网络传输过程。

从上图可知，TaskManager A给TaskManager B发送数据，TaskManager A做为Producer，TaskManager B做为Consumer。Producer处理完的数据首先输出到Producer对应的NetWork Buffer中，NetWorkBuffer就是图中的ResultSubPartition和InputChannel。

ResultSubPartition和InputChannel都向LocalBufferPool申请Buffer空间，然后LocalBufferPool再向NetWork BufferPool申请内存空间。这里，NetWork BufferPoo