大数据(9c)Flink运行架构

Flink简介、基本原理、架构图 Flink是一款支持有状态运算的流计算引擎。支持有状态运算是指数据的计算过程中可以保存计算的中间过程状态,比如我们要计算一个整数数据流的求和,那么我们就需要一个中间变量把数据流中的每一项数据加到这个变量上。而这个变量就是计算的中间状态。Flink框架会帮你管理状态的保存和复原。流计算是指我们要针对一个数据流进行源源不断的计算,产出实时的结果。比如说我们曾经看到过天猫淘宝的双11大屏,上面有当前的GMV成交量的数据,这个数字在屏幕上疯狂的跳动。这就是通过流计算产出的实时GMV成交量数据。 阅读详情

运行架构图

Flink1.13

1、Client(客户端)

  • 客户端 用于 准备和发送dataflow到JobManager
  • 狭义的讲,客户端不是运行和程序执行的一部分
    客户端可以断开与JobManager的连接(detached mode)
    也可以继续保持与JobManager的连接(attached mode)

2、JobManager(作业管理器)

  • 控制一个应用程序执行的主进程
  • JobManager会先接收到要执行的应用程序,该应用程序包括:
    作业图(JobGraph)
    逻辑数据流图(logical dataflow graph)
    打包了的JAR
  • JobManager会把JobGraph转换成一个物理层面的数据流图(ExecutionGraph),ExecutionGraph包含了所有可以并发执行的任务。
    JobManager会向资源管理器请求执行任务必要的资源,也就是任务管理器(TaskManager)上的插槽(slot)。
    资源足够,就会将执行图分发到真正运行它们的TaskManager上。
  • 在运行过程中,JobManager会负责所有需要中央协调的操作,比如:检查点(checkpoints)的协调

2.1、ResourceManager(资源管理器)

  • 整个Flink集群中只有一个ResourceManager

  • 负责资源的管理
    主要管理任务管理器(TaskManager)的插槽(Slot)
    插槽是Flink中定义的处理资源单元

  • 分配
    有空闲插槽的TaskManager给JobManager

  • 终止
    空闲的TaskManager以释放资源

这个ResourceManager和YARN的碰巧重名,但不是一回事

2.2、Dispatcher(调度器)

  • 负责接收用户提供的作业,并负责为这个新提交的作业启动一个新的JobMaster
  • Dispatcher会启动一个Web UI,来展示和监控作业执行的信息
  • Dispatcher并非必需的,这取决于应用提交运行的方式

2.3、JobMaster(作业主控器)

  • JobMaster负责管理单个JobGraph的执行
  • 多个Job可以同时运行在一个Flink集群中,每个Job都有一个自己的JobMaster

3、TaskManager

  • Flink中的工作进程

  • TaskManager向资源管理器注册自己的插槽;
    收到资源管理器的指令后,TaskManager就会将插槽提供给JobManager调用,JobManager就可以向插槽分配任务(tasks)来执行了

  • 通常会有多个TaskManager运行,每个TaskManager都包含了一定数量的插槽
    插槽的数量限制了TaskManager能够执行的任务数量

  • 在执行过程中,一个TaskManager可以跟其它运行同一应用程序的TaskManager交换数据。

3.1、Slot(插槽)

  • Flink中每一个TaskManager都是一个JVM进程,通过TaskSlot来控制TaskManager能接收多少个Task(1个TaskManager至少有1个TaskSlot)

  • 每个TaskSlot表示TaskManager拥有资源的一个固定大小的子集。
    插槽不隔离CPU,只隔离内存

例如:
1个TaskManager有3个插槽,那么TaskManager管理的内存会分成3份给各个插槽
资源插槽化意味着一个Task不需要和其它Job的Task竞争被管理的内存

3.2、Task、SubTask、Operator

  • 1个算子的并行度=这个Task的SubTask数量

并行度

流数据传输形式说明示例算子类比
One-to-one分区没有改变map、fliter、flatMapSpark的窄依赖
Redistributing分区会发生改变keyBy、broadcast、rebalanceSpark的宽依赖

Operator Chains

相同并行度的One-to-one操作,Flink将这样相连的算子链接在一起形成一个Task,原来的算子成为里面的一部分。 每个task被一个线程执行.

3.3、图

3.3.1、StreamGraph(逻辑流图)

  • 由Flink程序直接映射而成
  • 也称逻辑流图
  • 表示 计算逻辑

3.3.2、ExecutionGraph(执行图)

  • 为了执行一个流处理程序,需要将逻辑流图转换为物理流图
StreamGraph
JobGraph
ExecutionGraph
PhysicalGraph
四层说明备注
StreamGraph代码生成的最初的图表示程序的拓扑结构。
JobGraph将多个符合条件的节点,链接为一个节点可减少数据在节点之间流动所需要的序列化/反序列化/传输消耗
ExecutionGraphJobGraph的并行化版本是调度层最核心的数据结构
PhysicalGraphJobManager根据ExecutionGraph对Job进行调度后,在各个TaskManager上部署Task后形成的“图”并不是一个具体的数据结构。
env.socketTextStream().flatMap(…).keyBy(0).sum(1).print();

上面这一行代码,并发度=2(Source为1个并发度)的执行图四层演变过程

4、提交流程

通用提交流程

yarn-cluster提交流程per-job

  1. Flink任务提交后,Client向HDFS上传Flink的Jar包和配置;
  2. 向YARN的ResourceManager提交Job,ResourceManager分配Container资源;
  3. 通知对应的NodeManager启动ApplicationMaster,启动后加载Flink的Jar包和配置构建环境,然后启动JobManager;
  4. ApplicationMaster向ResourceManager 申请 用来启动TaskManager的资源;
  5. ResourceManager分配Container资源后,由ApplicationMaster通知资源所在节点的NodeManager启动TaskManager;
  6. NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager;
  7. TaskManager启动后向JobManager发送心跳包,并等待JobManager向其分配任务。

Appendix

en🔉cn
dispatcherdɪˈspætʃərn. 调度员;[计] 调度程序;[计] 分配器
dispatchdɪˈspætʃvn 派遣
operatorˈɑːpəreɪtərn. 算子;运算符
slotslɑːtn. (可投入东西的)狭槽;(在一系列事件中为某事安排的)空档;(组织、团体等中的)职位
v. 把……投入窄孔中;为……安排时间;
slotsslɒtsn. 插槽
detachdɪˈtætʃv. 拆下,使分离;脱离,摆脱;派遣,分派
detacheddɪˈtætʃtadj. 超然的,不带感情的,客观的;单独的,分离的
detach的过去式和过去分词形式
attached/əˈtætʃt附属的;连接的
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)_flink选择题 Flink 核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。基于流执行引擎,Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务:DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集, 用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理,支持 Java、Scala 和 Python。 阅读详情

相关推荐

自行研发一个大数据运维中台(拖拉拽自定义算子自动构建成flink算子链并运行)

开发开源的算子肯定是不能用的,只能直接提交到flink平台上,要想在自己平台拖拉拽,只能自己定义一套规则,让开发自定义算子时去遵循这套规则。登录后复制Class<?1.2.3.4.5.6.7.登录后复制Class<?1.2.3.4.5.6.登录后复制Class<?1.2.3.4.5.6.还有一个自定义注解,用于标注自定义算子的特征信息登录后复制/*** 名称*/String name() default "未命名";

Small world 644

Flink(1.11)概述——含架构图

文章目录一、Flink概述**1.1** **Flink and Spark****1.2** **Flink or Spark**二、wordCount案例2.1 批处理2.2 有界流2.3 无界流2.4 打成jar包上传到flink运行三、运行环境3.1 standalone模式3.1.1 前端界面3.1.2 命令行方式提交3.1.3 standalone模式HA配置:启动:3.2 Yarn模式3.2.1 配环境,集成hadoop3.2.2 直接运行3.2.3

平平无奇小码农~ 2243

【大数据-实时流计算】图文详解 Apache Flink 架构原理

在Flink的整个软件架构体系中,同样遵循这分层的架构设计理念,在降低系统耦合度的同时,也为上层用户构建Flink应用提供了丰富且友好的接口。上图是Flink基本组件栈,从上图可以看出整个Flink的架构体系可以分为三层,从下往上依次是物理部署层、Runtime 核心层、API&Libraries层。

AI天才研究院 1万+

用4+1架构视图说说Flink架构

友情提示,本文11239字,预计阅读时间25分钟。 在实时流计算的江湖里,Flink 大有一统江湖的味道,其正处于如日中天的高光时刻。溯古论今,Flink 起源于德国柏林大学2010年的一个研究项目,2014年到 Apache 舞台露了个脸,2019年被阿里巴巴收购后开始走上人生巅峰,收获一众粉丝,名气越来越大,在实时流计算的地位越来越高,截止本文写作时间,最新版本为1.14.4,功能越来越多,操作越来越简单,生态越来越多样化。九层楼台,起于垒土,千里之行始于足下,万变不离其宗,一切的迭代都是基于设计好的

lxf20054658的专栏 3228

Apache Flink连载(二十四):Apache Flink术语

🏡🚩 私聊博主:私聊博主加WX好友,获取更多资料哦~Flink计算框架可以处理批数据也可以处理流式数据,Flink将批处理看成是流处理的一个特例,认为数据原本产生就是实时的数据流,这种数据叫做无界流(unbounded stream),无界流是持续不断的产生没有边界,批数据只是无界流中的一部分叫做有界流(bounded stream),针对无界流数据处理叫做实时处理,这种程序一般是7*24不间断运行的;针对有界流数据处理叫做批处理,这种程序处理完当前批数据就停止。

qq_32020645的博客 510

基于大数据的SIEM系统架构

本文提出一种结合大数据技术的安全信息与事件管理(SIEM)系统架构,利用Kafka、Flume、Spark/Flink和Elasticsearch实现高效数据采集、传输与分析。通过Spark MLlib的k均值算法进行异常检测,实验表明该系统能有效识别大规模网络中的安全异常,具备良好的可扩展性和实时性。

yhn45678901的博客 1035

Java 架构 26:大数据架构(Flink/Spark+Java)入门

摘要: 本文面向Java开发者,系统介绍大数据架构的核心技术——Apache Flink与Spark。通过对比两大引擎的特性(如Flink的低延迟流处理与Spark的批处理优势),提供从环境搭建到实战代码的完整指南。文章包含Docker快速部署集群、Java API示例(如Flink实时WordCount)、性能优化技巧及选型建议,帮助开发者解决海量数据处理中的存储、计算与实时性挑战。 关键词: Java大数据、Flink、Spark、实时计算、分布式架构

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

基于docker进行安装部署seata,解决Seata的版本与Nacos的版本不匹配

本文分享了在Docker环境下部署Seata时遇到Nacos 3.x API不兼容问题的解决方案。由于Seata 2.0.0内置的nacos-client 1.4.2无法调用Nacos 3.x重构后的接口,导致注册失败。通过下载Seata 2.6.0源码自行构建Docker镜像,并调整启动方式(直接执行Java命令绕过Shell脚本),最终成功实现与Nacos 3.x的集成。关键步骤包括:创建自定义Dockerfile、配置application.yml、处理启动脚本兼容性问题,最终采用java直接运行方案

Dd52698的博客 414

Flink基础系列4-CDH6.3集成Flink1.9

文章目录一.准备工作1.1 CDH 6.3.1大数据平台搭建1.2 安装方式讨论1.3 安装介质下载及上传1.3.1 介质下载1.3.2 上传文件1.4 重启cdh集群二.安装Flink2.1 配置本地Flink 的 parcel2.2 开始安装Flink三.FAQ3.1 Deploy client Configuration失败3.2 为激活 Parcel:[flink]参考: 一.准备工作 1.1 CDH 6.3.1大数据平台搭建 CDH 6.3 大数据平台搭建 1.2 安装方式讨论 CDH本身不自带F

只是甲的博客 1万+

5步搞定ABB机器人RobotStudio与S7-1500PLC的Profinet通讯(附PLCSIM调试技巧)

本文详细介绍了如何利用RobotStudio与TIA Portal软件,结合PLCSIM Advanced仿真器,在零硬件条件下实现ABB机器人与西门子S7-1500 PLC之间的Profinet通讯虚拟调试。通过五个核心步骤,从环境搭建、网络配置、信号映射到联合仿真与高级调试,帮助工程师在项目前期高效验证逻辑、压缩现场调试周期,并掌握实用的PLCSIM调试技巧。

weixin_29188043的博客 508

STM32 TIM3硬件XOR+复位模式实现霍尔信号精准捕获

霍尔传感器是电机控制系统中获取转子位置的关键器件,其三路数字信号需通过高精度、低延迟的边沿检测机制转换为电角度信息。其核心原理在于利用定时器输入XOR逻辑合并多路信号,并结合从模式复位(Reset Mode)实现硬件级时间间隔测量——每次跳变强制计数器清零,使CNT值直接表征换相周期。该方案规避了软件轮询的不确定性,显著提升FOC控制的实时性与鲁棒性。典型应用场景包括BLDC/FOC电机驱动、机器人关节伺服及工业变频器设计,尤其适用于STM32F4系列等具备硬件XOR与从模式控制器的MCU平台。

weixin_28931507的博客 92

Flink快速入门--安装与示例运行

flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。首先要想运行Flink,我们需要下载并解压Flink的二进制包,下载地址如下:https://flink.apache.org/downloads.html我们可以选择Flink与Scala结合版本,这里我们选择最新的1.9版本Apache Flink 1.9.0 for Scala 2.12进行下载。

很多时候犯错都是在不知情的情况下发生的 1192

生产环境中redis的SCAN命令如何替代KEYS命令?

本文介绍了使用SCAN命令替代KEYS的完整方案。SCAN通过游标分批迭代,避免KEYS命令遍历整个键空间导致的阻塞风险。文章详细说明了SCAN的基础语法、迭代流程和Java实现示例,强调必须关闭Cursor避免连接泄漏。针对生产环境,提供了COUNT参数调优、客户端去重、集群模式适配等优化建议,并列举了典型错误场景。SCAN通过分批次迭代和游标管理,可安全实现高性能键空间遍历。全文150字。

DN金猿的博客 180

flink安装并且运行WordCount任务

1.官网下载flink:https://www.apache.org/dyn/closer.lua/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.11.tgz 2.下载后上传到服务器,解压并运行flink服务 cd /usr/local/flink-1.8.1-bin-scala_2.11/flink-1.8.1/bin ./start-cluster....

flyfelu的博客 2553

手把手教你学Simulink--电动物流车预充电路控制及主继电器粘连检测电机负载仿真

摘要:本文基于Simulink仿真平台,研究了电动物流车预充电路控制策略及主继电器粘连检测技术。通过构建预充电路、主继电器检测及电机负载模型,分析了不同工况下的系统特性。研究表明,优化的预充控制策略可缩短预充时间至0.5秒内,降低电流峰值;主继电器粘连检测模型能准确识别故障;电机负载变化对系统性能具有显著影响。仿真结果验证了所提方法的有效性,为提升电动物流车安全性与可靠性提供了理论支持和技术参考。

MHD0815的博客 63

YOLOv8n轻量化实战:10分钟打通实时摄像头目标检测,附参数调优与避坑指南

本文介绍了如何快速入门YOLOv8目标检测框架,通过摄像头实战实现实时检测。YOLOv8凭借轻量化架构和跨平台优势,是新手入门的理想选择。文章详细讲解了环境搭建(1分钟完成)、核心代码逻辑(3分钟掌握)以及性能调优技巧(3分钟进阶),提供可直接运行的代码示例。重点包括:模型选择(优先yolov8n.pt)、摄像头参数优化、置信度阈值调整、检测类别指定等实用技巧,帮助开发者快速实现10-15FPS的实时检测效果,并针对不同场景提供优化建议。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 375

Flink入门(二)——Flink架构介绍

1、基本组件栈 了解Spark的朋友会发现Flink的架构和Spark是非常类似的,在整个软件架构体系中,同样遵循着分层的架构设计理念,在降低系统耦合度的同时,也为上层用户构建Flink应用提供了丰富且友好的接口。 https://mmbiz.qpic.cn/mmbizpng/mqibsuEhdUyIVKMN1mHneQiantTzuhJYqwSD0k9gn8RCcJZHeD19KxcLj8ydC...

微信搜:import_bigdata,大数据领域硬核原创作者 1216

本文将详细介绍如何在 Qt (C++) 应用程序中集成 osgEarth,加载三维数字地球,并在指定经纬度添加三维模型(如飞机、建筑等)。

OSG 与 Qt 的交互通常需要处理 OpenGL 上下文。osgEarth 3.x 提供了对 Qt 的较好支持,或者可以使用。在普通 OSG 程序中,你需要手动处理坐标系转换将经纬度转为笛卡尔坐标 (XYZ)。这是实现的关键,将 OSG 的渲染循环集成到 Qt 的事件循环中。第三方库,但在本教程中,我们将展示一种通过继承。,将 Qt 的输入事件转换为 OSG 理解的。事件,这是实现交互(旋转地球、缩放)的基础。来嵌入 OSG 视图的标准方法。在这里我们初始化地球并添加模型。节点简化了这一过程。

qq_45859163的博客 1046

实验六 Flink编程

在 Linux 系统中打开一个浏览器,在里面输入“http://localhost:8081”,进入 Flink 的 WEB 管理页面,然后,点击左侧的“Task Managers”,会弹出右边的新页面,在页面中点击链接。Flink对于本地模式是开箱即用的,如果要修改Java运行环境,可以修改“/usr/local/flink/conf/flink-conf.yaml”文件中的env.java.home参数,设置为本地Java的绝对路径。Ubuntu中没有自带安装maven,需要手动安装maven。

wenmou1111的博客 1229

深度解析电力负荷预测:基于深度学习的完整实战指南

电力负荷预测是智能电网运行中的核心技术之一,准确的负荷预测对于电网的稳定运行、电力市场交易以及能源调度具有重要意义。本文将详细介绍电力负荷预测的完整解决方案,从数据预处理、特征工程到模型构建与评估,提供完整的可执行代码。我们将使用LSTM(长短期记忆网络)和Transformer两种主流深度学习模型进行实现,并通过实际数据集验证模型效果。电力负荷预测是指根据历史负荷数据、气象因素、时间特征等多维信息,预测未来某一时段的电力需求。超短期负荷预测:未来几分钟到几小时短期负荷预测:未来1天到1周中期负荷预测。

YOLO 111

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

win10下安装Flink

flink 可以运行在 Linux, Mac OS X, and Windows 操作系统上面。要运行Flink得先安装JDK 8.X。 JDK安装参看:http://www.itclj.com/blog/5920236681c06e672f942ad4 1.下载 官网下载地址:https://flink.apache.org/zh/downloads.html GIThub源码下载地址:...

yamaxifeng_132的专栏 3386

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

BigData软件简略汇总

大数据软件安装教程 centos7.7 1.虚拟机安装 1.1开机配置ip vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO="static" # 使用静态IP地址,默认为dhcp IPADDR="192.168.23.101" # 设置的静态IP地址 NETMASK="255.255.255.0" # 子网掩码 GATEWAY="192.168.23.2" # 网关地址 DNS1=8.8.8.8

ZGFAgf的博客 2294

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Flink安装与编程实践

Flink的JobManager同时会在8081端口上启动一个Web前端,可以在浏览器中输入“http://localhost:8081”来访问。如果能够看到TaskManagerRunner和StandaloneSessionClusterEntrypoint这两个进程,就说明启动成功。使用jps命令查看进程,成功啦!

WZRbeliever的博客 1453

大数据组件-Flink环境搭建

Flink(Apache Flink)是一个开源的流处理和批处理框架,它具有高性能、低延迟、容错性和灵活性的特点。Flink拥有强大而灵活的数据处理能力,用户可以根据自己的需求选择合适的组件和API来构建复杂的数据处理流程和批处理任务。Flink Core: Flink核心组件提供了任务调度、作业管理、资源管理、容错机制和数据传输等基础功能。它负责将用户提交的作业进行解析、分配任务并对其进行执行。

默默发展,无声壮大~ 1176
上一篇: Python本地数据(文件及文件夹)读写的代码架构
下一篇: 运行Sqoop任务的通用脚本Python实现(待优化)
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值