Flink源码学习资料

原创 已于 2024-07-17 15:31:02 修改 · 1.2k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

于 2024-07-17 11:11:51 首次发布

Flink系列文档脑图

由于源码分析系列文档较多，本人绘制了Flink文档脑图。和下面的文档目录对应。各位读者可以选择自己感兴趣的模块阅读并参与讨论。

此脑图不定期更新中……

文章目录

以下是本人Flink 源码分析系列文档目录，欢迎大家查阅和参与讨论。

如果需要转载，请务必注明出处。

Stream API：

Flink 源码之基本算子
Flink 源码之Window
Flink 源码之WindowOperator
Flink 源码之Trigger
Flink 源码之Continuous Trigger
Flink 源码之Evictor
Flink 源码之AsyncFunction
Flink 源码之 Side Output 踩坑

作业生成和调度：

Flink 源码之StreamGraph生成

最低0.47元/天 解锁文章
Flink 源码编译
主要分享大数据相关的知识，如Spark、Hudi
04-24 1450
Flink 源码编译
flink源码学习一
guoqing2017的博客
07-06 867
Flink源码学习一 Flink RPC ​ Flink RPC底层基于Scala的网络编程库Akka实现。Akka具有如下特点： 1. 它是对并发模型进行了更高的抽象 2. 它是异步、非阻塞、高性能的事件驱动编程模型 3. 它是轻量级事件处理（1GB内存可容纳百万级别个Actor) Akka的通信模型如下图： 关于AKka的理解可以从ActorSystem和Actor的角度理解，以下几个方面有助于我们理解Akka。 1、ActorSystem是管理Actor生命周期的组件，Actor是负责通信的组件
Flink 源码学习｜WatermarkStrategy
长行
02-04 749
使用事件时间时，需要通过 Flink API 的接口配置 watermark 的生成策略。我们将逐段来看这个 API 的各个部分。
Flink源码剖析
weixin_37172178的博客
10-04 2414
执行环境 ExecutionEnvironment数据抽象 DataSet DataStream逻辑操作 Source Transformation Sink1. 获取执行环境2. 通过执行环境对象，注册数据源Source，得到数据抽象3. 调用数据抽象的各种Transformation执行逻辑计算4. 将各自Transformation执行完毕之后得到的计算结果数据抽象注册Sink5. 提交Job执行。
Flink 源码学习｜WatermarkOutput
长行
02-11 986
在接口中，onEvent()和的参数中均使用实现了接口的output用于发送 watermark。下面我们来看一下在markIdle()接口是很多等大量重要接口的上游，这里我们先介绍与事件时间相关的部分。
Flink 源码学习｜Watermark 与 WatermarkGenerator
长行
01-28 1335
当数据源中消息的事件时间单调递增时，当前事件时间（同时也是最大事件时间）就可以充当 watermark，因为后续到达的消息的事件时间一定不会比当前事件时间小。当输入数据流中消息的事件时间不完全有序，但是对于绝大部分元素，滞后时间通常不会超过一个固定的时间长度时，我们可以通过在当前最大事件时间的基础上减去一个固定延迟时间，来生成 watermark。再到达比 Watermark 的事件时间更小的消息，即在 Watermark 后到达的事件时间更小的消息视作延迟消息。接口，既可以基于消息，也可以基于周期。
自画flink、spark源码学习流程大图分享
Airy的博客
03-16 1004
以前写过，分了好几篇，且源码流程图也被拆分了。这次直接分享spark和flink从提交命令行到完整走完案例的源码流程图。
Flink技术源码解析（一）：Flink概述与源码研读准备
我的博客
05-04 8311
原文：https://yq.aliyun.com/articles/600173 一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streaming的不同与优势，可参考https://blog.youkuaiyun.com/cm_chenmin/a...
Flink源码架构学习-01
qq_31866793的博客
12-01 508
因为我已经有基础了，所以直接从DataStream直接开始学习，但是还是从简单到难，一步步来吧，加油！ 1，我们从github下载源码，在本地idea的展示为： 2，我们全局ctrl+alt+R搜索关键字DataStream，如下图的结构展示： 3，选中DataStream，然后ctrl+H查看这个类的子类，我们发现 4，通过idea的 UML显示图显示这个类DataStream的UML图： 5，与DataStream同级的Stream有： 这里...
flink1.18.0 源码用于666
12-04
通过阅读和理解源码，开发者不仅可以更加深入地理解Flink的设计思想和实现原理，还能够通过源码学习到如何构建大规模分布式系统。此外，源码中的各种设计模式和算法实现也是学习的最佳材料。 在Flink1.18.0版本中，...
Flink CDC同步MySQL到Elasticsearch的413错误完整解决方案
探索云原生与智能化驱动下的安全运维新范式。关注DevSecOps、可观测性、AIOps等前沿领域，与您共赴技术前沿。
12-17 168
了解数据特征：评估记录大小分布保守配置参数：宁可吞吐低，不要频繁失败增强容错能力：增加重试次数和延迟持续监控优化：根据实际情况调整通过本文的方案，可以彻底解决Flink CDC同步大字段表到Elasticsearch时的413错误，确保数据同步的稳定性和可靠性。
Flink SQL Window Top-N窗口榜单的正确打开方式
hello.reader
12-13 1144
本文介绍了Flink SQL中的Window Top-N功能，重点说明其核心概念、语法规范和使用场景。Window Top-N用于在每个窗口内筛选N个最大/最小值，相比连续Top-N性能更优。文章详细讲解了必须包含window_start和window_end字段等前置条件，提供了标准SQL模板和两个典型示例（窗口聚合后Top-N和直接窗口Top-N）。同时指出了当前限制，如不支持Batch模式下的SESSION窗口，并给出工程化建议，包括主键设计和性能调优参数。这些内容为开发者正确使用Window Top
Flink Join 核心解析：类型、原理、实操
最新发布
luohualiushui1的专栏
12-17 751
Flink Join 核心解析：类型、原理、实操
flink的一阶段提交的流程
2301_80954266的博客
12-17 639
Flink 的一阶段提交流程主要针对 Sink 端事务，简化了两阶段提交协议，直接在执行检查点时提交数据。它适用于外部系统支持原子写入的场景，能提升性能，但要求严格依赖 Sink 的幂等性。在实际应用中，建议根据具体需求（如数据一致性要求）选择使用一阶段或两阶段提交。如果您有更多细节（如特定 Sink 系统），我可以进一步优化解释！
Flink 翻滚窗口、滑动窗口、会话窗口核心区别
luohualiushui1的专栏
12-17 719
Flink 翻滚窗口、滑动窗口、会话窗口核心区别
十一、Flink基础环境实战
pale_moonlight的博客
12-15 319
实验结束。
Flink SQL INSERT 语句单表写入、多表分流、分区覆盖与 StatementSet
hello.reader
12-16 666
Flink SQL 中的 INSERT 语句用于将数据写入目标表，支持多种灵活用法。主要功能包括：1）通过 executeSql 立即提交单条 INSERT 作业，或使用 StatementSet 批量提交多个 INSERT；2）支持 INSERT INTO（追加）和 INSERT OVERWRITE（覆盖）两种写入模式；3）提供静态分区和动态分区写入能力；4）允许部分列写入和直接插入字面量值。生产实践中建议：多 sink 分流优先用 StatementSet、慎用 OVERWRITE、注意分区写入方式选择
Flink SQL 的 TRUNCATE 用法详解（Batch 模式）
hello.reader
12-17 1220
Flink SQL中的TRUNCATE TABLE用于快速清空表数据但保留表结构，与DELETE不同，它只能全表删除且属于管理型操作。目前仅支持Batch模式，且要求目标表的connector实现SupportsTruncate接口，否则会抛出异常。使用时可结合TableEnvironment执行SQL语句，但需注意流模式不支持、connector兼容性等问题。当TRUNCATE不可用时，可考虑采用DELETE、重建表或覆盖写等替代方案。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值