Flink 解析（二）：反压机制解析

目录

Flink反压机制

Flink TaskManager内存结构 

跨TaskManager的反压过程

基于Credit的反压过程

TM内部的反压过程

Flink反压监控

 反压的原因

参考

---

Flink反压机制

反压是流式系统中关于处理能力的动态反馈机制，并且是从下游到上游的反馈，一般是在实时数据处理的过程中，上游节点的生产速度大于下游节点的消费速度。在Flink中，反压主要有两个部分：跨TaskManager的反压过程和TaskManager内的反压过程。

Flink TaskManager内存结构 

先给大家看看Flink中网络传输场景下的内存管理。

首先，每一个Task都是在TaskManager(TM)中运行，每个TM中都存在一个内存区域叫做NetworkBufferPool，这个区域中默认存在2048个内存块MemorySegment(一个默认32K)，表示可用的内存。

然后，每一个Task任务中都存在输入区域InputGate(IG)和输出区域ResultPartition(RP)，里面都是传输的都是字节数据(因为要进行网络传输，所以需要进行序列化)，并且存在了Buffer中，Buffer是MemorySegment的包装类。

•  根据配置，Flink 会在 NetworkBufferPool 中生成一定数量（默认2048，一个32K）的内存块 MemorySegment，内存块的总数量就代表了网络传输中所有可用的内存。NetworkEnvironment 和 NetworkBufferPool 是 Task 之间共享的，每个节点（TaskManager - 跑任务的进程，类似于spark的executor）只会实例化一个。
• Task 线程启动时，会向 NetworkEnvironment 注册，NetworkEnvironment 会为 Task 的 InputGate（IG）和 ResultPartition（RP） 分别创建一个 LocalBufferPool（缓冲池）并设置可申请的 MemorySegment（内存块）数量(一般是均匀分配)。IG 对应的缓冲池初始的内存块数量与 IG 中 InputChannel 数量一致，RP 对应的缓冲池初始的内存块数量与 RP 中的 ResultSubpartition 数量一致。不过，每当创建或销毁缓冲池时，NetworkBufferPool 会计算剩余空闲的内存块数量，并平均分配