Flink核心知识一网打尽：从入门到进阶

已于 2024-12-02 17:57:57 修改
阅读量1.2k 收藏
点赞数
分类专栏： # Flink 文章标签： flink big data
于 2020-10-23 17:08:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzhcoder/article/details/109246225
版权
本文深入探讨了Apache Flink的核心概念，包括集群角色、TaskManager内存管理、资源管理中的Slot、Task和SubTask、窗口机制、时间语义与Watermark、并行度与Slot的区别、窄依赖与宽依赖、分区策略、数据交换效率、端到端状态一致性、重启策略、Flink + Kafka数据管道的Exactly-once语义、Flink的重要特点、ProcessFunction API及其使用，以及处理数据倾斜的策略。文章旨在帮助读者全面理解Flink的内在工作原理和优化技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1.Flink集群有哪些角色？各自有什么作用？

2.Flink TaskManager的内存管理

3.Flink 资源管理中 Slot、Task 和SubTask的概念

4.Flink中的窗口概念

5.Flink中的状态存储

6.时间语义与Wartermark

6.1Flink中的时间语义

6.2EventTime的引入

6.3Watermark的概念

 6.4Watermark的引入

7.Flink的Slot和parallelism有什么区别

8.窄依赖和宽依赖

9.Flink分区策略

10.Flink是如何做到高效的数据交换的？

11.Flink是如何保证端到端（end-to-end）状态一致性？

11.1、数据库的EXACTLY_ONCE

11.2、Kafka的EXACTLY_ONCE

12.Flink有没有重启策略？说说有哪几种？

13.Flink + Kafka的数据管道系统（Kafka进、Kafka出）而言，各组件怎样保证Exactly-once语义呢？

14.Flink的重要特点

15.ProcessFunction API（底层API）

15.1 KeyedProcessFunction

15.2 TimerService 和 定时器（Timers）

15.3侧输出流（SideOutput）

15.4CoProcessFunction

16.键控状态

17.CheckPoint机制

18.状态后端

19.Flink中的Window出现了数据倾斜，有什么解决办法

场景一：数据源 source 消费不均匀

场景二：key 分布不均匀的无统计场景

场景三：key 分布不均匀的统计场景

20. Flink中在使用聚合函数 GroupBy、Distinct、KeyBy 等函数时出现数据热点该如何解决

21.说说 Flink的内存管理是如何做的

22.Flink是如何处理反压的

23.Operator Chains（算子链）的概念

24.什么是CEP

25.Flink中的Window出现了数据倾斜，有什么解决办法

1.Flink集群有哪些角色？各自有什么作用？

Flink 程序在运行时主要有 TaskManager，JobManager，Client三种角色。

JobManager

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《Spark/Flink/Doris离线&实时数仓开发》目录
大模型大数据攻城狮的专栏
05-24 1129
欢迎加入《Spark/Flink/Doris离线&实时数仓开发》付费专栏！本专栏专为大数据工程师、数据分析师及准备大数据面试的求职者量身打造，聚焦Spark、Flink、Doris等核心技术，覆盖离线与实时数仓开发的全流程。无论你是想快速上手项目、提升技术能力，还是在面试中脱颖而出，这里都能为你提供。
Flink_架构体系
qq_44509920的博客
07-07 516
文章目录2.1 Flink 中的重要角⾊2.2 无界数据流与有界数据流 无界数据流：2.3 Flink 数据流编程模型2.4 Libraries 支持 2.1 Flink 中的重要角⾊ JobManager 处理器： 也称之为 Master， 用于协调分布式执行， 它们用来调度 task， 协调检查点， 协调失败 时恢复等。 Flink 运行时至少存在一个 master 处理器， 如果配置高可用模式则会存在多 个 master 处理器， 它们其中有一个是 leader， 而其他的都是 standby。
第三部分Flink体系结构
qq_45420103的博客
04-07 2180
Flink 第三部分Flink体系结构 1、Flink的重要角色 Flink是非常经典的Master/Slave结构实现，JobManager是Master，TaskManager是Slave。 JobManager处理器（Master） 协调分布式执行，它们用来调度task，协调检查点(CheckPoint)，协调失败时恢复等 task：任务。同一个阶段的多个SubTask的集合 SubTask： 电商： Flink运行时至少存在一个master处理器，如果配置高可用模式则会存在多个maste
Flink知识体系 (一)flink简介
weixin_42847481的博客
12-09 1264
1. Flink 发展 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、 Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内 存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或 多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默 的发展着。 在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多 人不会认同。我们先姑且这么认为和讨论。 首先第一代的计算引擎，无疑就是 Had
第二部分：Flink 进阶篇
index_test的博客
08-22 1146
进阶篇：包含了Flink中的如何保证Exactly-Once语义、Watermark机制、容错机制、状态机制、重启策略、分区策略、序列化、内存模型、反压等实际生产环境中遇到的问题等考察点
大数据技术10：Flink从入门到精通
最新发布
何哥的博客
12-11 1085
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。截止目前2023年12月Flink最新版本为v1.18.0。Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。
java架构师进阶之路
henhenha的博客
03-30 5311
包含了计算机基础、算法和数据结构、常用工具、java核心知识、性能优化、基础框架、数据库、消息队列、缓存中间件、搜索引擎、大数据、RPC、网关、容器、面试等知识
大数据工程师需要学习哪些内容
weixin_51689029的博客
03-21 1851
Hadoop以及其他大数据处理技术很多都是用Java，例如Apache的基于Java的HBase和Accumulo以及 ElasticSearchas，因此学习Hadoop的一个首要条件，就是掌握Java语言编程。• 结合当下热门的云平台（阿里云、UCloud）为大家带来《云原生大数据开发》：基于Hadoop3.3.4、Hive 3.1.3、阿里云和UCloud云平台，采用全新的技术栈体系。目前很多大数据开发团队都在使用Java语言，Java语言凭借完善的技术生态和较强的扩展性，得到了大量开发团队的认可。
盘点哪些我拥有的课程（一）【文末分享
weixin_51361104的博客
10-07 1874
盘点哪些我拥有的课程（一）【文末分享】 1.深度学习之神经网络(CNN/RNN/GAN)算法原理+实战 深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN 2.手把手开发一个完整即时通讯App 客户端+服务端+MVP架构+封装思想+主流框架 3.Typescript + React 高仿 Antd 从零到一打造自己的组件库 设计，开发，测试，发布再到 CI/CD，从0到1造轮子 4.玩转热门框架 用企业级思维 开发通用够硬的大数据平台 一次大厂开发流程，通揽大数据平台全貌；一次大牛细致讲
Flink进阶与调优
LSur_king的博客
04-18 1293
【知识点1】Flink在处理网络传输时，通过NetworkBuffer来实现攒批，权衡吞吐和延迟的关系。Flink 1.10 及以后的版本直接通过配置参数execution.buffer-timeout: 100ms可以设置，Flink 1.10 之前通过代码env.setBufferTimeout(100)设置 。当设置为 0 时表示没有 timeout 策略，即：每条数据来了都认为 buffer 满了，将这一条数据单独发送给下游。保障了实时性，但吞吐可能会下降。要想吞吐不下降，就需要消耗更多的资...
Flink系统架构以及各个角色职责
weixin_40659514的博客
10-27 1582
flink系统机构讲解
大数据——Flink 中的角色及安装部署
Vicky_Tang
08-24 1万+
一、Flink 中的角色 Flink 也遵循主从原则，主节点为JobManager，从节点为TaskManager 1.1. Client 将任务提交到JobManager，并和JobManager进行任务交互获取任务执行状态。 1.2. JobManager 负责任务的调度和资源的管理。负责Checkpoint的协调过程。 获取到客户端的任务后，会根据集群中 TaskManager 上 TaskSlot 的使用情况， 为提交的任务分配相应的 TaskSlots 资源，并命令 Task.
Flink 架构：三层架构体系、运行时组件
凌桓丶的博客
02-09 4961
Flink 架构：三层架构体系、运行时组件
十六、Flink进阶--Flink checkpoint实现原理
大数据之路
06-02 5408
前面我们已经了解过flink的状态，对于这些状态如何保存，我们一起学习一下flink的checkpoint机制，并了解一下rocksdb中的增量checkpoint是怎么实现的。 Checkpoint实现原理 Flink提供的checkpoint机制可以在流任务发生故障时，任务恢复之后，state只被处理一次 exactly once ，当然也可选为 at least once。checkpo...
Flink(window time watermark)
我的祖传代码
04-01 1396
https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/stream/operators/windows.html 1 Time与Window 1.1 Flink中涉及的时间 Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每⼀条⽇志都会记录⾃己的生成时间，Flink通过时间...
Flink集群有哪些角色？各自有什么作用？
sijiwang95的博客
04-10 399
Client是Flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群中处理，所以Client需要从用户提交的Flink程序配置中获取JobManager的地址，并建立到JobManager的连接，将Flink Job提交给JobManager。Flink 程序在运行时主要有。
3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至on yarn运行
热门推荐
alanchanchn的专栏
07-06 6万+
客户端在提交任务的时候会对Operator进行优化操作，能进行合并的Operator会被合并为一个Operator，合并后的Operator称为Operator chain，实际上就是一个执行链，每个执行链会在TaskManager上一个独立的线程中执行，就是SubTask。将算子链接成 task 是个有用的优化：它减少线程间切换、缓冲的开销，并且减少延迟的同时增加整体吞吐量。由Flink程序直接映射成的数据流图是StreamGraph，也被称为逻辑流图，因为它们表示的是计算逻辑的高级视图。
Flink原理之角色分工
大数据跟我学i
05-11 540
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
Flink学习总结
Think++
07-13 1297
本文为学习B站上的Flink入门视频课程的总结，有些重点知识或许在面试中会被问到，故于此分享学习。 1.Flink和Storm，Hadoop，Spark的对比？ Hadoop是纯粹的批处理框架，storm是纯粹的流处理框架，spark通过基于两种不同的技术实现了批处理和流处理，但是Flink同时支持实现了批处理和流处理，将批处理作为一种特殊的流处理。 Storm：延迟低，能做到毫秒级，牺牲了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值