flink词汇表

本文解释了ApacheFlink中的关键概念,如Flink应用集群、作业集群、JobManager、TaskManager的角色,以及状态后端在Flink中的作用。内容涵盖了逻辑图、物理图、执行模式、状态存储和任务管理等核心组件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

状态后端在检查点期间存储其快照的位置(JobManager 的 Java 堆或文件系统)。

Flink 应用集群是一个专用的 Flink 集群, 只从一个 Flink 执行 Flink 作业 应用程序。Flink 的生命周期 集群绑定了 Flink 应用的生命周期。

Flink 作业集群是一个专用的 Flink 集群,它只 执行单个 Flink 作业Flink 集群的生存期与 Flink Job 的生存期绑定。

由(通常)一个 JobManager 和一个或多个 Flink TaskManager 进程组成的分布式系统。

事件#

事件是关于域状态更改的语句,由 应用。事件可以是流或批处理应用程序的输入和/或输出。 事件是特殊类型的记录

执行图#

请参阅物理图

功能#

函数由用户实现并封装 Flink 程序的应用逻辑。大多数函数都由相应的运算符包装。

实例#

术语实例用于描述运行时特定类型(通常是 Operator 或 Function)的特定实例。由于 Apache Flink 主要是用 Java,这对应于 Java 中 Instance 或 Object 的定义。在 Apache 的上下文中 Flink,术语并行实例也经常被用来强调多个实例 相同的 Operator 或 Function 类型并行运行。

Flink 应用程序是提交一个或多个 Flink 的 Java 应用程序来自方法(或通过其他方式)的作业。提交 作业通常是通过调用执行环境来完成的。main()execute()

应用程序的作业可以提交到长时间运行的 Flink 会话集群,连接到专用的 Flink 应用程序 集群,或 Flink 作业 集群

Flink 作业是通过调用 Flink 应用程序创建和提交的逻辑图(通常也称为数据流图)的运行时表示。execute()

工作图表#

请参阅逻辑图

JobManager 是 Flink 集群的编排器。它包含三个不同的 组件:Flink Resource Manager、Flink Dispatcher 和每个正在运行的 Flink Job 一个 Flink JobMaster

JobMasters 是在 JobManager 中运行的组件之一。JobMaster 是 负责监督单个作业任务的执行。

逻辑图#

逻辑图是有向图,其中节点是运算符,边定义运算符的输入/输出关系并对应 到数据流或数据集。通过提交作业创建逻辑图 从 Flink 应用程序

逻辑图通常也称为数据流图

托管状态#

托管状态描述已向框架注册的应用程序状态。为 托管状态,Apache Flink 将负责持久性和重新缩放等问题。

算子#

逻辑图的节点。Operator 执行某个操作,即 通常由 Function 执行。源和接收器是数据的特殊运算符 引入和数据出口。

经营链#

一个运营商链由两个或多个连续的运营商组成,没有任何运营商 在两者之间重新分区。同一运营商链中的运营商将记录转发给彼此 直接,无需经过序列化或 Flink 的网络堆栈。

分区#

分区是整个数据流或数据集的独立子集。数据流或 通过将每条记录分配给一个或多个分区,将数据集划分为多个分区。 数据流或数据集的分区由 Tasks 在运行时使用。一个 改变数据流或数据集分区方式的转换通常称为 重新分区。

物理图#

物理图是转换逻辑图以在 分布式运行时。节点是 Tasks,边缘表示输入/输出关系 或数据流或数据集的分区

记录#

记录是数据集或数据流的构成元素。运算符函数接收记录作为输入,并发出记录作为输出。

(运行时)执行模式#

DataStream API 程序可以在以下两种执行模式之一中执行:或 。有关详细信息,请参阅执行模式BATCHSTREAMING

一个长时间运行的 Flink 集群,它接受多个 Flink 作业 执行。此 Flink 集群的生命周期不绑定任何 Flink 作业的生命周期。 以前,Flink 会话集群在会话模式下也称为 Flink 集群。与 Flink Application Cluster 相比。

状态后端#

对于流处理程序,Flink 作业的状态后端决定了其状态如何存储在每个 TaskManager(TaskManager 的 Java 堆或(嵌入式) RocksDB)。

子任务#

子任务是负责处理 数据流。术语“子任务”强调同一操作员或操作员链有多个并行任务。

表格程序#

使用 Flink 的关系 API(Table API 或 SQL)声明的管道的通用术语。

任务#

物理图的节点。任务是基本的工作单元,由 Flink 的运行时。任务只封装一个 Operator 或 Operator Chain 的一个并行实例。

TaskManager 是 Flink 集群的 worker 进程。任务是 计划到 TaskManager 执行。它们相互通信以交换数据 后续任务。

转型#

转换应用于一个或多个数据流或数据集,并生成一个或多个 输出数据流或数据集。转换可能会更改 基于每条记录,但也可能只更改其分区或执行聚合。虽然 Operator 和 Functions 是 Flink API 的“物理”部分, 转换只是一个 API 概念。具体来说,大多数转换是 由某些运营商实现。

想贡献翻译吗?

内容概要:本文档详细介绍了在三台CentOS 7服务器(IP地址分别为192.168.0.157、192.168.0.158和192.168.0.159)上安装和配置Hadoop、Flink及其他大数据组件(如Hive、MySQL、Sqoop、Kafka、Zookeeper、HBase、Spark、Scala)的具体步骤。首先,文档说明了环境准备,包括配置主机名映射、SSH免密登录、JDK安装等。接着,详细描述了Hadoop集群的安装配置,包括SSH免密登录、JDK配置、Hadoop环境变量设置、HDFS和YARN配置文件修改、集群启动与测试。随后,依次介绍了MySQL、Hive、Sqoop、Kafka、Zookeeper、HBase、Spark、Scala和Flink的安装配置过程,包括解压、环境变量配置、配置文件修改、服务启动等关键步骤。最后,文档提供了每个组件的基本测试方法,确保安装成功。 适合人群:具备一定Linux基础和大数据组件基础知识的运维人员、大数据开发工程师以及系统管理员。 使用场景及目标:①为大数据平台建提供详细的安装指南,确保各组件能够顺利安装和配置;②帮助技术人员快速掌握Hadoop、Flink等大数据组件的安装与配置,提升工作效率;③适用于企业级大数据平台的建与维护,确保集群稳定运行。 其他说明:本文档不仅提供了详细的安装步骤,还涵盖了常见的配置项解释和故障排查建议。建议读者在安装过程中仔细阅读每一步骤,并根据实际情况调整配置参数。此外,文档中的命令和配置文件路径均为示例,实际操作时需根据具体环境进行适当修改。
在无线通信领域,天线阵列设计对于信号传播方向和覆盖范围的优化至关重要。本题要求设计一个广播电台的天线布局,形成特定的水平面波瓣图,即在东北方向实现最大辐射强度,在正东到正北的90°范围内辐射衰减最小且无零点;而在其余270°范围内允许出现零点,且正西和西南方向必须为零。为此,设计了一个由4个铅垂铁塔组成的阵列,各铁塔上的电流幅度相等,相位关系可自由调整,几何布置和间距不受限制。设计过程如下: 第一步:构建初级波瓣图 选取南北方向上的两个点源,间距为0.2λ(λ为电磁波波长),形成一个端射阵。通过调整相位差,使正南方向的辐射为零,计算得到初始相位差δ=252°。为了满足西南方向零辐射的要求,整体相位再偏移45°,得到初级波瓣图的表达式为E1=cos(36°cos(φ+45°)+126°)。 第二步:构建次级波瓣图 再选取一个点源位于正北方向,另一个点源位于西南方向,间距为0.4λ。调整相位差使西南方向的辐射为零,计算得到相位差δ=280°。同样整体偏移45°,得到次级波瓣图的表达式为E2=cos(72°cos(φ+45°)+140°)。 最终组合: 将初级波瓣图E1和次级波瓣图E2相乘,得到总阵的波瓣图E=E1×E2=cos(36°cos(φ+45°)+126°)×cos(72°cos(φ+45°)+140°)。通过编程实现计算并绘制波瓣图,可以看到三个阶段的波瓣图分别对应初级波瓣、次级波瓣和总波瓣,最终得到满足广播电台需求的总波瓣图。实验代码使用MATLAB编写,利用polar函数在极坐标下绘制波瓣图,并通过subplot分块显示不同阶段的波瓣图。这种设计方法体现了天线阵列设计的基本原理,即通过调整天线间的相对位置和相位关系,控制电磁波的辐射方向和强度,以满足特定的覆盖需求。这种设计在雷达、卫星通信和移动通信基站等无线通信系统中得到了广泛应用。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值