Flink背压机制

关于Flink背压了解多少？

1.什么是背压

在流式处理系统中，如果出现下游消费的速度跟不上上游生产数据的速度，就种现象就叫做背压(backpressure,有人叫反压，不纠结，本篇叫背压)。本篇主要以Flink作为流式计算框架来简单背压机制，为了更好理解，只做简单分享。

2.背压产生的原因

下游消费的速度跟不上上游生产数据的速度，可能出现的原因如下：

（1）节点有性能瓶颈，可能是该节点所在的机器有网络、磁盘等等故障，机器的网络延迟和磁盘不足、频繁GC、数据热点等原因。

（2）数据源生产数据的速度过快，计算框架处理不及时。比如消息中间件kafka，生产者生产数据过快，下游flink消费计算不及时。

（3）flink算子间并行度不同，下游算子相比上游算子过小。

3.背压导致的影响

首先，背压不会直接导致系统的崩盘，只是处在一个不健康的运行状态。

（1）背压会导致流处理作业数据延迟的增加。

（2）影响到Checkpoint，导致失败，导致状态数据保存不了，如果上游是kafka数据源，在一致性的要求下，可能会导致offset的提交不上。

原理: 由于Flink的Checkpoint机制需要进行Barrier对齐，如果此时某个Task出现了背压，Barrier流动的速度就会变慢，导致Checkpoint整体时间变长，如果背压很严重，还有可能导致Checkpoint超时失败。

（3）影响state的大小，还是因为checkpoint barrier对齐要求。导致state变大。

原理: 接受到较快的输入管道的barrier后，它后面数据会被缓存起来但不处理，直到较慢的输入管道的barrier也到达。这些被缓存的数据会被放到state 里面，导致state变大。

4.如何查找定位背压