【大数据-实时流计算】图文详解 Apache Flink 架构原理

最新推荐文章于 2024-09-25 00:00:00 发布
最新推荐文章于 2024-09-25 00:00:00 发布
阅读量1.7w 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： AI人工智能与大数据 文章标签： 大数据 apache flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/universsky2015/article/details/129807755
本文详细介绍了Apache Flink的架构，包括组件栈的三层结构：物理部署层、Runtime核心层和API&Libraries层。Flink支持Local、Standalone、Yarn和Kubernetes等多种部署模式。Runtime核心层负责分布式Stream作业执行、JobGraph到ExecutionGraph转换和任务调度。API&Libraries层提供流计算和批计算接口，如FlinkML、FlinkCEP、Flink Gelly和SQL&Table库。此外，文章还阐述了Flink的运行时架构，包括JobManager和TaskManager的角色，以及ResourceManager、Dispatcher和JobMaster的功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

Apache Flink架构介绍

一、Flink组件栈

二、Flink运行时架构

Apache Flink架构介绍

一、Flink组件栈

在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。

上图是Flink基本组件栈，从上图可以看出整个Flink的架构体系可以分为三层，从下往上依次是物理部署层、Runtime 核心层、API&Libraries层。

  • 物理部署层：

该层主要涉及Flink的部署模式，目前Flink支持多种部署模式：本地Local、集群（S

了解本专栏 订阅专栏 解锁全文 超级会员免费看
彻底了解大数据实时计算框架 Flink
http://www.54tianzhisheng.cn/
09-22 974
在 1.1 节中讲解了日常开发常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。 第一代：Hadoop 承载的 MapReduce 第二代：支持 DAG（有向无环图）框架的计算引擎 Tez 和 Oozie，主要还是批处理任...
【大数据OLAP引擎】图文详解 Apache Doris 架构
AI天才研究院
03-28 1万+
Apache Doris 是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以 支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
实时计算Flink —— 独享模式系统架构
weixin_34348111的博客
11-14 280
独享模式系统架构如下所示。 系统架构说明： 实时计算独享模式为全托管管理方式。您所购买的ECS都托管在实时计算VPC下，暂不提供用户登陆接口。如有登陆ECS的需求，请联系实时计算客服。 为了访问您的VPC内服务，会在创建集群时，在您账号下申请弹性网卡。通过弹性网卡，您即可访问其VPC下所有资源。 您的实时计算集群，如果需要访问公网，可在弹性网卡上绑定N...
Flink实时计算框架简介
qq_40905284的博客
03-07 1891
flink实时计算机框架简介
大数据（9c）Flink运行架构
ArYe
11-04 2102
文章目录〇运行架构图1、Client（客户端）2、JobManager（作业管理器）2.1、ResourceManager（资源管理器）2.2、Dispatcher（调度器）2.3、JobMaster（作业主控器）3、TaskManager3.1、Slot（插槽）3.2、Task、SubTask、Operator3.3、图3.3.1、StreamGraph（逻辑流图）3.3.2、ExecutionGraph（执行图）Appendix 〇运行架构图 1、Client（客户端） 客户端 用于 准备和发送da
实时计算框架梳理(flink,kafka,hbase/redis,clickhouse)
inori1256的博客
08-06 2691
一旦监控到有数据产生，进入kafka服务器，并建立一个topic，开始了数据处理。这样的话，dws-sec中就会包含一些“未计算”的异常数据，这样就需要进行判断数据是否被计算过，没有计算过则需要重新计算，已经完成计算的不做处理，在分级，小时级中，同样也会存在这样的情况，处理方式也一样。当传来的消息时间戳在(t,t+5)的区间中，会进入分区，如果出现一条消息的时间戳大于t+5，那么这个分区就会锁起来，随后flink把这个分区的数据进行计算聚合，然后又进入kafka服务器，形成新的主题，成为秒级聚合的结果。
一文搞懂大数据流式计算引擎Flink【万字详解，史上最全】
qq_73181349的博客
09-05 2047
Flink知识图谱、Flink发展、四代计算引擎、Flink特点、简介、批处理流处理、有界流无界流、Flink三层核心架构、三种Time概念、Windows窗口、时间窗口、计数窗口、、状态管理、状态分类、状态后端、算子、CheckPoint机制、CEP、CDC、FlinkSQL
Apache Iceberg - 底层数据查询原理（图文详解）
最新发布
喻师傅的学习笔记
09-25 1220
Iceberg数据查询原理
Kafka 架构和原理机制 (图文全面详解)
mikechen的互联网架构
11-01 2095
图文详解 Kafka ，一文了解掌握 Kafka 的架构、原理、特性、应用场景、以及 Zookeeper 在 Kafka 中的作用。
Flink(1.11)概述——含架构图
平平无奇小码农~
11-29 2037
文章目录一、Flink概述**1.1** **Flink and Spark****1.2** **Flink or Spark**二、wordCount案例2.1 批处理2.2 有界流2.3 无界流2.4 打成jar包上传到flink运行三、运行环境3.1 standalone模式3.1.1 前端界面3.1.2 命令行方式提交3.1.3 standalone模式HA配置：启动：3.2 Yarn模式3.2.1 配环境，集成hadoop3.2.2 直接运行3.2.3
Flink学习4：flink技术栈
hzp666的博客
06-24 1150
核心分为三层：物理部署层，Runtime层，API & liberare层 1. flink支持单节点部署，，单个jvm管理2.也支持集群模式，standalone模式，YARN模式3.也可以部署在云上，谷歌云和亚马逊云等只要为上层API提供服务，也是flink核心代码层。API模块主要分为2部分：流处理模块：DataStream 和 批处理模块：DataSet在API两个模块之上抽象出了，各个不同的库。CEP：流处理的复杂事件处理库SQL&Table库：既可以处理流，也可以处理批。FlinkML：基于批
Flink图结构详解
weixin_51981189的博客
12-12 656
顺便提一句，flink的keyed算子保存的是对每个数据的 key的计算方法，而非真实的key，用户需要自己保证对每一行数据提供的keySelector的幂等 性。至于为什么要用KeyGroup的设计，这就牵扯到扩容的范畴了，将在后面的章节进行讲 述。按照正常逻辑思维，很容易想到TM的submitTask方法的行为:首先是确认资源，如寻找 JobManager和Blob，而后建立连接，解序列化算子，收集task相关信息，接下来就是创建一个新的 Task 对象，这个task对象就是真正执行任务的关键所在。
Flink简介、基本原理、架构图
白色咖啡
08-20 2678
Flink是一款支持有状态运算的流计算引擎。支持有状态运算是指数据的计算过程中可以保存计算的中间过程状态，比如我们要计算一个整数数据流的求和，那么我们就需要一个中间变量把数据流中的每一项数据加到这个变量上。而这个变量就是计算的中间状态。Flink框架会帮你管理状态的保存和复原。流计算是指我们要针对一个数据流进行源源不断的计算，产出实时的结果。比如说我们曾经看到过天猫淘宝的双11大屏，上面有当前的GMV成交量的数据，这个数字在屏幕上疯狂的跳动。这就是通过流计算产出的实时GMV成交量数据。
Flink【理论篇】01：什么是Flink
weixin_40612128的博客
03-15 7020
什么是Flink
Flink 在有赞实时计算的实践
weixin_34376562的博客
01-18 1061
一、前言 这篇主要由五个部分来组成： 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容，Flink 在有赞的实践。这其中包括了我们在使用 Flink 的过程...
腾讯基于 Flink 的实时流计算平台演进之路
05-31 923
原文地址：https://www.infoq.cn/article/TjDeQDJQpKZ*NpG71pRW 大家好，我是来自腾讯大数据团队的杨华（vinoyang），很高兴能够参加这次北京的 QCon，有机会跟大家分享一下腾讯实时流计算平台的演进与这个过程中我们的一些实践经验。 这次分享主要包含四个议题，我会首先阐述一下腾讯在实时计算中使用 Flink 的历程，然后会简单介绍一...
Apache Flink从入门到放弃——Flink简介（一）
LXWalaz1s1s的博客
05-03 7959
Apache Flink是一个分布式大数据计算引擎，可以对有界的数据和无界的数据进行有状态的计算，可部署在各种集群环境中，对各种大小数据规模进行快速计算，本章节主要介绍下Flink的历史和由来以及框架基础。............
Flink 基本工作原理
热门推荐
sxiaobei的博客
06-30 5万+
      Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskMa...
实时流计算 Flink - 实战与干货
tony_shephard的博客
05-30 1581
Flink 的基本架构图 从整体的架构图中可以看到，对于完整的Flink来说，可以分为Flink Client客户端，JobManager 和 TaskManager三个部分。而个组件之间的通信时通过Akka Framework来完成的。 Flink Client 客户端 Flink客户端负责体提交 / 取消 / 更新任务到JobManager，而JobManager会对状态以及统计数据进行反馈。 // set up the execution environment final StreamExecut
贝壳找房大数据实时计算引擎实践：Apache Flink应用
"贝壳找房在大数据实时计算领域进行了深入的应用与实践，通过构建流式计算平台，利用Apache Flink作为实时计算引擎，实现了高效、一致性的数据处理。平台处理大量业务线的数据，包括房源、客源、经纪人等多个维度，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值