Flink内部数据交换源码分析(一)

已于 2022-09-14 15:42:15 修改
阅读量827 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink内核源码解读 大数据 公开专栏 文章标签： flink 大数据 java
于 2022-09-14 15:40:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MissWYAN/article/details/126853654
本文深入探讨Flink的StreamOperator内部机制，分析数据如何在PUSH模式的Pipeline中传递。重点讲解RecordWriter如何将Task的数据输出给下游，以及StreamOperator的setup方法如何初始化OperatorChain和Output。此外，还介绍了Task的运行流程，包括StreamTask的初始化和执行过程，解释了AbstractInvokable、StreamTask的invoke方法和mailboxProcessor.runMailboxLoop()的职责。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Stream的计算模型采用的是PUSH模式，上游主动向下游推送数据，上下游之间采用生产者-消费者模式，下游收到数据触发计算，没有数据则进入等待状态。PUSH模式的数据处理过程也叫作Pipeline，提到Pipeline或者流水线的时候，一般是指PUSH模式的数据处理过程。

RecordWriter是负责将Task的数据输出给下游Task。

StreamOperator

我们开发的Flink程序，最终会转换成一个一个的StreamOperator。

其抽象子类

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink内部数据交换源码分析(二)之上游输出以及下游读取过程
打工日常
09-17 781
讲述了Flink Operator转成Task后，粗略地讲解如何从上游获取获取数据、反序列化、处理数据、序列化、发往下游的整个流程。上文并没有详细的解释，是如何将数据写出去的？上篇文章中讲述了StreamTask线程在跑起来的过程，就是处理数据的过程。当然文中还给自己留有好几个坑位。所谓的坑位是指在这篇文章中不详细叙述，后续专门写文章来讲解的。本文的目的，就是用容易让人理解的方式将这个过程写出来。Flink内部数据交换是如何做的？为什么Flink是天然具备反压的？反压在源码里是如何体现的？
Flink系列：在Flink集群提交任务、查看日志、查看输出结果详细步骤
NIO4444
06-06 9238
基础 Flink系列：最新flink集群搭建、配置完整步骤 Flink系列：IDEA创建flink项目开发环境（附完整WordCount例子） 编写Flink程序 提交任务 查询
【API篇】六、Flink输出算子Sink
llg___的博客
10-23 1064
现有的Flink连接器不能满足需求时，需要自定义连接器进行输出。与Source类似，Flink提供了通用的接口和对应的RichSinkDunction抽象类，实现这个接口，就可通过DataStream的.addSink()方法自定义写入任何的外部存储。@Override//输出逻辑//value即流中的数据，来一条数据，invoke方法就被调用一次（所以不要在这里创建连接对象）//如果你的外部存储必须先创建连接对象，那就用富函数的生命周期方法去创建连接对象@Overrdie。
Flink DataStream API-数据源、数据转换、数据输出
很多时候犯错都是在不知情的情况下发生的
11-19 610
Flink中可以很方便的使用自定义数据源，只需要实现SourceFunction接口即可。比如实现一个随机产生某10个学生的N此考试分数@Override@Override@Override'}';Sink这个词很形象，中文意思“水槽”，寓意：数据流像水一样，源源不断的，经过水槽流向各种目的地。Flink可以使用DataStream API将数据流输出到文件、Socket、外部系统等。
Flink
weixin_39477597的博客
11-29 1338
一、Flink 是什么？ Flink是一个框架和分布式处理引擎，用于在无边界和有边界的数据流上进行有状态的计算 无界流：有定义流的开始 但是没有定义流的结束，会无休无止的产生数据。无界流必须持续处理，即数据被摄取后立刻处理 有界流：有定义流的开始也有定义流的结束。有界流可以在摄取所有数据后再进行计算。 二、Flink的状态： Flink分为Operator State算子状态和Keyed State Operator State 分为三种数据结构： 列表状态：状态表示一组数据的列表 联合列
Flink的任务失败以及结果的保证介绍
sghuu的博客
12-23 1227
在执行之前，流程序将会被翻译成物理层数据流图，物理层数据流图由连接的并行任务组成，而一个并行任务运行一些运算符逻辑，消费输入流数据，并为其他任务产生输出流数据。真实场景下，可能有数百个这样的任务并行运行在很多的物理机器上。在长时间的运行中，流任务中的任意一个任务在任意时间点都有可能失败。我们如何保证任务的失败能被正确的处理，以使任务能继续的运行下去呢？事实上，我们可能希望我们的流处理器不仅能在任务...
Flink 数据传输机制
最新发布
╮(╯_╰)╭ Don't expect me to reply to you in time
05-17 1080
组件作用影响因素缓存传输数据性能、吞吐、背压Serializer序列化/反序列化数据CPU、网络带宽决定数据流向并行度、数据分布流量控制机制下游处理速度Shuffle多并行任务间数据重分布网络 I/O、CPU 开销。
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6435
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
flink源码 类UML图
12-20
最后，Flink的网络层（Network Stack）是数据交换的关键部分。DataInputView和DataOutputView类代表了数据的输入和输出，而Buffer是数据传输的基本单位。通过BufferPool和NetworkBuffer管理缓冲区资源，确保高效的...
flink 源码分析
01-16
### 关于 Apache Flink 源码分析的资料 #### 资源请求机制解析 在探讨Flink集群与资源管理时，重点在于理解`checkResourceRequirements`函数的工作流程。此函数负责验证并确认由应用提出的资源配置需求是否合理以及...
Flink入门教程--Jobs and Scheduling(任务和调度)
热门推荐
vim_wj的博客
09-12 1万+
原谅链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/job_scheduling.html#jobs-and-scheduling该文档简单描述了Flink是如何调度Job的，以及如何在JobManager上表现并跟踪Job状态。调度Flink通过任务槽（Task Slot）定义执行资源，每个TaskM
phoenix启动报错：Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region s
打工日常
12-29 5340
@Tphoenix启动报错：Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region sOC 报错内容如下： Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region ...
灵魂解答Flink错误Could not forward element to next operator
打工日常
08-12 3521
看网上很多同学说，是什么watermark的eventTime为空、数据源段出现脏数据，存在null值导致、要改什么时间格式等等解释，都没有触及这个错误的灵魂。Could not forward element to next operator错误，就应该知道为什么会报？该如何解决这个问题？...
org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘dwd‘ not found
打工日常
03-06 3255
spark操作hive时，报错如下： 实际上hive中是有这个库的，后来查看了一下，是因为spark没有开启对hive的支持 加上这个就好了
使用Flink时遭遇数据倾斜，怎么办？
打工日常
03-07 2467
无
Flink1.14源码编译失败，报错：npm ci --cache-max=0 --no-save
打工日常
11-22 2236
临时起意，想编译下1.14的源码，结果在flink-runtime-web module下报错，导致编译失败。错误如下： npm ci --cache-max=0 --no-save 解决办法： 进入flink-runtime-web的web-dashboard目录下，执行命令： npm install 返回上一级目录，将pom文件中 <arguments>ci --cache-max=0 --no-save</arguments> 改为 <arguments>in
Flink1.14 源码报错Could not transfer artifact io.confluent:kafka-schema-registry-client from/to maven地址
打工日常
11-29 2095
Flink1.14 源码报错Could not transfer artifact io.confluent:kafka-schema-registry-client from/to maven地址 解决办法： 1.删除maven本地仓库中的以 lastUpdated 结尾的文件 2.然后将maven的配置文件中的仓库镜像改为阿里云或者其他国内进行地址，重新import一下 ...
flink+prometheus+granfana+macos本地搭建flink指标监控体系完整跑通版
打工日常
11-25 1891
为什么要在本地搭建呢？因为有些需求需要本地进行测试，在测试环境或者生产环境不好测（因为这两个环境没有修改的代码）比如在上一篇文章《flink+prometheus reporter中自定义metrics的scopename中去掉metricgroup的key，只显示metric名》中，就是在本地搭建集群，这个集群中有修改的flink源码。 之前确实没有搭建过，每次遇到问题都要在网上找一遍教程，各种找资料，但是每个人的步骤好像都不一样，而且有的人只写了部分步骤，有的人呢搭建的过程就是太老了，有的人呢需要doc
Flink执行SQL语句报错：No operators defined in streaming topology. Cannot generate StreamGraph
打工日常
11-24 1859
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值