flink的异步Io实现原理

最新推荐文章于 2024-06-03 09:42:11 发布

古城的风cll

最新推荐文章于 2024-06-03 09:42:11 发布

阅读量4.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： flink的异步Io实现原理

本文链接：https://blog.youkuaiyun.com/weixin_42458708/article/details/102593728

大数据专栏收录该内容

93 篇文章

订阅专栏

本文深入探讨了AsyncDataStream的(un)orderedWait方法如何通过AsyncWaitOperator实现异步IO访问。AsyncWaitOperator利用StreamElementQueue和Emitter处理异步请求，其中StreamElementQueue作为Promise队列存储未完成的请求，而Emitter负责发送异步回复给下游。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

AsyncDataStream.(un)orderedWait 的主要工作就是创建了一个 AsyncWaitOperator。AsyncWaitOperator 是支持异步 IO 访问的算子实现，该算子会运行 AsyncFunction 并处理异步返回的结果，其内部原理如下图所示。

在这里插入图片描述
如图所示，AsyncWaitOperator 主要由两部分组成：StreamElementQueue 和 Emitter。StreamElementQueue 是一个 Promise 队列，所谓 Promise 是一种异步抽象表示将来会有一个值（海底捞排队给你的小票），这个队列是未完成的 Promise 队列，也就是进行中的请求队列。Emitter 是一个单独的线程，负责发送消息（收到的异步回复）给下游。
图中E5表示进入该算子的第五个元素（”Element-5”），在执行过程中首先会将其包装成一个 “Promise” P5，然后将P5放入队列。最后调用 AsyncFunction 的 ayncInvoke 方法，该方法会向外部服务发起一个异步的请求，并注册回调。该回调会在异步请求成功返回时调用 AsyncCollector.collect 方法将返回的结果交给框架处理。实际上 AsyncCollector 是一个 Promise ，也就是 P5，在调用 collect 的时候会标记 Promise 为完成状态，并通知 Emitter 线程有完成的消息可以发送了。Emitter 就会从队列中拉取完成的 Promise ，并从 Promise 中取出消息发送给下游。