Flink的反压机制--Credit-based 反压

科学的N次方

已于 2024-03-12 22:18:35 修改

阅读量155

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系文章标签： flink 网络服务器

于 2021-06-21 14:40:27 首次发布

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/118085610

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink的Credit-based反压机制，类似于TCP的窗口控制，避免上下游速度不匹配导致的过载。当下游Buffer达到上限，会向上游返回Credit=0，实现反压，降低延迟并防止Socket阻塞。此外，讨论了动态反压与静态限速的结合使用，以及如何通过背压指标监控任务状态。

这个机制简单的理解起来就是在 Flink 层面实现类似 TCP 流控的反压机制来解决上述的弊端，Credit 可以类比为 TCP 的 Window 机制。
Credit-based 反压过程
在这里插入图片描述

如图所示在 Flink 层面实现反压机制，就是每一次 ResultSubPartition 向 InputChannel 发送消息的时候都会发送一个 backlog size 告诉下游准备发送多少消息，下游就会去计算有多少的 Buffer 去接收消息，算完之后如果有充足的 Buffer 就会返还给上游一个 Credit 告知他可以发送消息（图上两个 ResultSubPartition 和 InputChannel 之间是虚线是因为最终还是要通过 Netty 和 Socket 去通信），下面我们看一个具体示例。
在这里插入图片描述

假设我们上下游的速度不匹配，上游发送速率为 2，下游接收速率为 1，可以看到图上在 ResultSubPartition 中累积了两条消息，10 和 11， backlog 就为 2，这时就会将发送的数据 <8,9> 和 backlog = 2 一同发送给下游。下游收到了之后就会去计算是否有 2 个 Buffer 去接收，可以看到 InputChannel 中已经不足了这时就会从 Local Bu