Flink 原理架构总结

最新推荐文章于 2025-06-12 09:46:34 发布
最新推荐文章于 2025-06-12 09:46:34 发布
阅读量6.7k 收藏 26
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： Flink 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013560925/article/details/91381822
本文总结了Flink的流式任务执行过程，包括任务并行度的决定因素和OperatorChain的原理。在架构部分，详细介绍了JobClient、JobManager和TaskManager的职责，以及Task执行的细节，强调了Slot在资源管理和任务执行中的关键作用，并讨论了Slot共享的优势和注意事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、流式任务执行过程

1.任务并行

     按照自己的理解，一个流程如下图所示，除非经历shuffle过程，否则流程并行度将由source的并行度决定，比如kafka分区数目，shuffle之后的并行度，可能会改变，Operator子任务(Task)彼此独立，并且可以在不同的线程中执行，并且可能在不同的机器或容器上执行。

2.OperatorChain

    原理同Spark 的Satge划分相似，为了减少数据在传输过程中的序列化和反序列化损耗，将一些可以合并的Task进行合并，合并之后称多个Task为一个OperatorChain，在遇到Shuffle和用户编程时强制截断时，不进行合并。

二、架构

1.组成

    a. JobClient是Flink程序和JobManager交互的桥梁（同Spark Driver），主要负责接收程序、解析程序的执行计划、优化程序的执行计划，然后提交执行计划到

最低0.47元/天 解锁文章

200万优质内容无限畅学
万字长文看懂Flink的架构及原理
大模型大数据攻城狮的专栏
09-17 813
Flink作为一个面向流处理和批处理的统一计算框架，其系统架构被精心设计以处理无界和有界数据流。这一架构的核心组成部分包括JobManager、TaskManager、Client，以及状态后端（State Backend）和时间服务（Time Service）。这些组件各司其职，共同构成了Flink高效、稳定的数据处理能力。JobManager在Flink架构中扮演着至关重要的角色。它主要负责任务的调度和资源管理，确保各项任务能够按照预定的计划顺利执行。
总结：Flink
w2009211777的专栏
02-10 887
Flink梳理
Apache Flink ：回顾2015，展望2016
zhong930的博客
02-15 157
回顾2015，总体而言Flink在功能方面已经从一个引擎发展成为最完整的开源流处理框架之一。与此同时，Flink社区也从一个相对较小，并且地理上集中的团队，成长为一个真正的全球性的大型社区，并在Apache软件基金会成为最大的大数据社区之一。接下来看看一些有趣的统计数据，其中就包括Flink每周最繁忙的时间是星期一，肯定出乎很多人所料：）社区发展首先，我们从Flink的GitHub库中看一些简单的...
一文带你入门Flink
最新发布
zh_19995的博客
06-12 992
Flink作为新一代流批统一的大数据计算引擎，具备分布式处理能力，支持多种部署模式和API抽象。文章详细剖析了Flink的核心架构，包括其部署方式（Local/Standalone/YARN/K8s）、运行时组件（JobManager/TaskManager）和多层API（DataStream/DataSet/Table/SQL）。重点介绍了Flink的关键特性：多种时间语义、灵活的窗口机制、状态存储、容错机制和自主内存管理。通过对比不同计算引擎发展历程，强调Flink在处理无界流数据和有界批数据上的优势，
flink总结
weixin_43644153的博客
03-11 385
flink简介 什么是flink flink是一个分布式计算引擎，支持流计算和批计算（本质是实时流计算，以流做批）。 为什么用flink 目前我们我们熟知的大数据计算引擎有mapreduce、spark、storm等等，那为什么还要有flink呢？ 1）基于内存计算，比hadoop快； 2）基于流计算，比spark延迟低； 3）比storm吞吐量大。 flink虽然年轻，但越来越受到阿里等大公司的...
Flink总结
Poolweet_的博客
09-29 2007
目录 1.什么是flink？ 2.sparktreaming 和 strom 有啥区别？ 3.flink 和 sparktreaming 有啥区别？ 4.Flink 的重要特点？ 5.什么是有界流和无界流？ 6.Flink的其他特点？ 7.Flink 组件？ 8.jobManager作用？ 9.jobManager收到的应用程序包含哪些？ 10.taskManager作用？ 11.taskManager执行任务的数量由什么来决定的？ 12.resourceManager作用？ 13
flink知识总结
qq_45292079的博客
07-14 887
flink-1.7.2
深入理解 Flink（一）Flink 架构设计原理
weixin_44512041的博客
01-09 1677
Flink 是当今最主流的大数据流式计算引擎，没有之一。本文将解开 Flink 的神秘面纱，从 MapReduce、Spark、Flink 的技术演进入手，引出 Flink 的核心设计原理、简单的编程模板与执行过程，以及 Flink 内存管理方式。
Flink集群架构
靡不有初，鲜克有终
06-17 716
在上一章节我们对flink有了一个基本的了解。从它的应用的场景以及它的一些基本的一些核心的一些概念。从本章节开始，我们对flink从它的一个集群的一个架构以及它的一个部署模式着手，去了解flink如何去部署在不同的这样的一个集群的一些资源管理器上面，以及相应的一些原理的一些解析。本节课开始我们了解一下flink的一个集群的一个基本的架构，了解里面核心的一些组件，比如说dropmanager，taskmanager以及jobgraph等一系列的这样的一些集群的一些组件的一些架构。 我们首先来看一下fl
Flink 核心知识总结：窗口操作、TopN 案例及架构体系详解
天冬忘忧的博客
12-05 1698
在大数据处理领域，Flink 凭借其卓越的流批一体处理能力、高效的状态管理以及精准的时间语义把控，成为众多开发者应对复杂数据场景的得力工具。本文将围绕 Flink 的三大关键板块展开深度剖析，即 FlinkSQL 的窗口操作（涵盖滚动、滑动、累积窗口以及不同时间语义下的应用）、窗口 TopN 需求实现案例，以及 Flink 架构体系（详细解读各个核心组件及概念），旨在为读者清晰勾勒 Flink 技术框架的全貌，助力深入理解与高效运用。
Flink架构浅析
sunyunjie361的专栏
02-24 332
Flink任务提交流程
Flink基本原理剖析讲解
hello.reader
07-12 1万+
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如下图所示。DataStreamCheckpoint窗口JobPipeline 配置表。
Flink核心架构设计分析
huxian1234的专栏
11-27 624
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
Flink知识点大全总结
liuwei0376的专栏
07-08 1万+
全文总计6万字、110个知识点、160张原理、流程图。提纲如下：01、Flink 基础篇Flink是一个以 流 为核心的高可用、高性能的分布式计算引擎。具备 流批一体，高吞吐、低延迟，容错能力，大规模复杂计算等特点，在数据流上提供 数据分发、通信等功能。数据流：所有产生的 数据 都天然带有 时间概念，把 事件 按照时间顺序排列起来，就形成了一个事件流，也被称作数据流。流批一体：首先必须先明白什么是 有界数据 和 无界数据有界数据，就是在一个确定的时间范围内的数据流，有开始，有结束，一旦确定就不会再改变，一
Flink-flink原理解读
qq_30868737的博客
01-28 1452
1 Task和subtask 1.1 概念 Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似于 Spark 中的
flink实战--flink原理解析
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
Flink 基本工作原理
热门推荐
sxiaobei的博客
06-30 5万+
      Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskMa...
Flink 核心组件 内部原理 多图剖析
天道酬勤
12-19 845
一、Flink 整体架构 Flink 集群整体遵循 Master ，Worker 这样的架构模式。 JobManager 是管理节点，有以下几个职责： 接受 application，包含 StreamGraph（DAG），JobGraph（优化过的）和 JAR，将 JobGraph 转换为 Execution Graph 申请资源，调度任务，执行任务，保存作业的元数据，如Checkpoint 协调各个 Task 的 Checkpoint； TaskManager 是工作节点，负责数据交换，跑多个线程的
Flink基本原理
柏图
08-15 968
Flink简介Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如所示。Flink技术栈。
flink cdc 的工作原理，架构图
04-15
好的，用户想了解Flink CDC的工作原理和架构图。首先，我需要回忆一下Flink CDC的基本概念和相关引用内容。根据提供的引用，Flink CDC是基于数据库日志的CDC技术，使用Flink的管道能力和上下游生态来实现实时数据...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值