【Flink数据传输（一）】NetworkStack架构概述：实现tm之间的数据交换

NetworkStack提供了高效的网络I/O和反压控制

除了各个组件之间进行RPC通信之外，在Flink集群中TaskManager和TaskManager节点之间也会发生数据交换，尤其当用户提交的作业涉及Task实例运行在不同的TaskManager上时。Task实例之间的数据交换主要借助Flink中的NetworkStack实现。NetworkStack不仅提供了非常高效的网络I/O，也提供了非常灵活的反压控制。

 

1. NetworkStack整体架构

通过Netty协议实现的NetworkStack

Flink NetworkStack整体架构在不同的TaskManager之间建立TCP连接，而TCP连接则主要依赖Netty通信框架实现。Netty是一个NIO网络编程框架，可以快速开发高性能、高可靠性的网络服务器/客户端程序，能够极大简化TCP和UDP等网络编程。

流程举例：

TaskManager中会运行多个Task实例，例如在TaskManager 1中运行了Task A-1和Task A-2，在TaskManager 2中运行了Task B-1和Task B-2，Task A中从外部接入数据并处理后，会通过基于Netty构建的TCP连接发送到Task B中继续进行处理。整个数据传输过程主要基于Flink的NetworkStack框架进行。

 

上游数据流转逻辑：二进制buffer->ResultSubPartition队列->InputChannel

对于上游的Task A实例