flink on yarn时的 slot,taskManager,jobManager,parallelism,container之间的关系

最新推荐文章于 2024-05-01 16:34:02 发布
最新推荐文章于 2024-05-01 16:34:02 发布
阅读量1k 收藏 4
点赞数 1
分类专栏： flink 文章标签： yarn flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/YouLoveItY/article/details/114028692
版权
这篇博客探讨了如何在YARN上提交Flink任务，详细解释了任务配置参数如taskManager的slot大小（ys）、jobManager内存（yjm）和taskManager内存（ytm）的含义，并给出了任务并行度（p）与资源分配的关系计算公式。内容涉及YARN集群管理和Flink作业调度，是理解大数据处理和集群资源管理的重要参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在使用命令提交任务到yarn时.

flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2G -d -yqu default -ynm iot_flink_flow-3812_1 -c cn..IotFileMain iot-flink-sql-runtime-1.0.3-SNAPSHOT.jar -jsonFile ./iot_flink_flow-3812_1.txt

ys 表示为一个taskManager的slot大小
yjm 表示为jobManager的内存大小
ytm 表示为一个taskManager的内存大小
p 表示任务的并行度

计算公式:

jobManager个数 = 1
taskManager个数 =  p / ys  + 1    
container个数 = taskManager个数 + jobManager个数
yarn内存数 = jobManager个数 * yjm  +  taskManager个数  *  ytm

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

flink实战--flink on yarn
阿华田的博客
10-31 5890
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
Flink on yarn模式部署
litlit023的专栏
02-02 3092
目录 1. 基于docker部署cdh 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 2.2 jdk7造成的错误 3. 启动flink on yarn模式 1. 基于docker部署cdh 基于Docker搭建CDH单机单节点集群_litlit023的专栏-优快云博客 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 基于docker 部署cdn后，启动flink on yarn模式，报了以下错误 ./bin/yarn-session.sh -n
flink on yarn模式下的，flink中的slot，taskmanage，parallelism，以及yarn中的container，vcore，memory它们之间的关系
qq_21451945的博客
09-24 4543
第一点 yarn集群上同时能跑多少任务是有限定的，这个限定就是yarn上的vcore和memory这两个参数。但是它是可以根据你的配置文件可以调的，修改yarn-site.xml文件中的（这个是yarn默认的，就算不配置也是这样） <property> <name>yarn.nodemanager.resource.cpu-vcores</n...
Flink中TaskManager、Slot和Parallelism
sinat_24296421的博客
05-24 3929
概念简介 JobManager：负责接收Flink Client提交的Job，并将Job分发到TaskManager执行，一个JobManager包含一个或多个TaskManager。 TaskManager：负责执行Client提交的Job。每个TaskManager可以有一个或多个slot，但slot的个数不能多于cpu-cores。 slot：slot是Flink任务的最小执行单位，并行度上限不能大于slot的数量。slot是可以 数量设置 slot数量：slot的数量一般小于等于TM可用的
Flink_Flink On Yarn_flink资源slots 与 Yarn中container, 以及 cores 之间的关系
迎难而上
05-26 4625
Based on Flink 1.10.1 本文主要讲解下 flink 中 flink-conf.yaml 中有关 slots 的 配置，与 Yarn 中 container 以及 cores 的相应关系。 主要涉及以下两个参数 # The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline. taskmanager.numberOfTaskSlots: 2...
blink taskmanager container 堆内存设置
青松的博客
12-19 418
blink taskmanager container 堆内存设置堆内存设置taskmanager OOM 问题定位 堆内存设置 我们使用的是阿里开源的blink版本，目前flink官方的最新版本是1.9，对sql的支持还不完善，DDL定义语句还处于预览版阶段。使用Yarn来做资源管理，测试过程中，发现taskmanager 所在的 container的堆内存设置遇到一些问题，在此记录一下。 ta...
Flink on Yarn部署
DataFlow范式
09-22 8450
环境信息：Hadoop版本：2.6.0Flink版本：1.1.2 快速部署Flink on Yarn环境：比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.      下载Flink的软件包，如flink-1.1.2-bin-hadoop26-scala_2.11.tgz（因为我的Hadoop集群版本为2.6.0，Flink的Binary包是包含Yarn客户端
高可用Flink on YARN集群快速配置_flink on yarn集群 的flink-conf(1)
2301_79988566的博客
05-01 438
选择filesystem或者rocksdb的话，可靠性比较高。对于轻量级的、逻辑不复杂的任务，可以选择jobmanager。注意YARN ApplicationMaster的最大尝试次数（yarn.resourcemanager.am.max-attempts）默认值仅为2，使得作业容错率很低，因此预先把它修改为4，或者更大些。以上四项只是给出默认配置，实际执行作业时都可以用对应的命令行参数（-jm、-tm、-s、-p）修改。这个类似于spark-submit中的extraJavaOptions。
高可用Flink on YARN集群快速配置_flink on yarn集群 的flink-conf(2)
最新发布
2301_79988566的博客
05-01 432
选择filesystem或者rocksdb的话，可靠性比较高。对于轻量级的、逻辑不复杂的任务，可以选择jobmanager。程序中也能通过StreamExecutionEnvironment.setStateBackend()方法来指定。注意YARN ApplicationMaster的最大尝试次数（yarn.resourcemanager.am.max-attempts）默认值仅为2，使得作业容错率很低，因此预先把它修改为4，或者更大些。项目、大纲路线、讲解视频，并且后续会持续更新**
Flink On Yarn
weixin_45520075的博客
07-23 816
Yarn模式 Yarn是一个分布式集群资源管理框架，在Yarn集群上可以部署运行各种分布式式应用程序。例如：Mapreduce，Spark。Yarn框架为这些分布式应用程序运行提供了可靠的支持。 因为在生产开发环境中很少使用Standalone模式，Flink On Yarn模式用的稍微多一点，今天我们就来讲讲Flink On Yarn 第一种方式 在Yarn集群中初始化一个Flink集群，该Flink集群占用着指定的资源，以后提交 ...
FLINK ON YARN内存计算
sxau_zhangtao的博客
04-22 2699
FLINK ON YARN内存计算 在使用命令提交任务到yarn时： flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2G ys 表示为一个taskManager的slot大小 p 表示任务的并行度 yjm 表示为jobManager的内存大小 ytm 表示为一个taskManager的内存大小 计算公式： jobManager个数 = 1 固定 taskManager个数 = p / ys + 1 向下取整 yarn的vcore个数=slot
《从0到1学习Flink》—— Flink JobManager 高可用性配置
http://www.54tianzhisheng.cn/
03-03 662
转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/ , 未经允许禁止转载。 前言 之前在 《从0到1学习Flink》—— Flink 配置文件详解 讲过 Flink 的配置，但是后面陆续有人来问我一些配置相关的东西，在加上我现在对 Flink 也更熟悉了些，这里我就再写...
【Flink 核心篇】Flink on YARN，如何确定 TaskManager 数
书山有路，学海无涯。记录成长，追逐梦想
02-07 2310
Flink 程序中设定并行度有 4 种级别，从低到高分别为：算子级别、执行环境级别（ExecutionEnvironment）、客户端（命令行）级别、配置文件级别（flink-conf.yaml）。实际执行时，优先级则是反过来的，算子级别最高。
搭建Flink的Standlone独立模式-高可用（3个节点2个jobmanager）
m0_58046550的博客
11-23 1522
搭建Flink的Standlone独立模式-高可用（3个节点2个jobmanager）独立：不借助第三方资源管理器，多个jobmanager，由zookeeper去调用，但同一时刻只能有一个jobmanager活跃
【Flink---04】Flink运行时架构 『 系统架构 | 作业提交流程 | 数据流图 vs 作业图 vs 执行图 vs 物理图 | 并行度 | 任务槽| 算子任务 | 算子子任务』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
01-05 919
1. 系统架构 1.1 概述 1.2 JobManager 1.3 TaskManager 2. 作业提交流程 2.1 抽象流程 2.2 yarn集群下流程(动态分配TaskManager⭐) 2.2.1 会话模式 2.2.2 单作业模式 2.2.3 应用模式 2.3 Standalone集群下流程(预先固定TaskManager个数⭐) 3. 一些重要概念 3.1 算子 3.2 并行度（Parallelism） (1) 什么是并行度？ (2) 怎么设置算子的并行度？ (3) 关于并行度的优化：合并算子链
【Flink】Flink exitCode=239
九师兄
04-25 2251
1.场景1 1.1 概述 checkpoint 设置3分钟 也失败 我申请的 资源是 -yqu realtime -yjm 1024 -ytm 2048 -ys 2
flink on yarn的实现及交互过程
penriver的博客
09-10 1047
1 yarn 基本架构 yarn是一个资源管理与调度平台，不仅hadoop跑在上面，flink也可以直接向yarn申请资源并运行上去。 yarn使用cgroup隔离资源，实现了container。 Resource Manager组件管理集群资源。 Node Manager组件管理1台机器，在上面运行Container。 Container是一个具体容器，分配一定的CPU、内存、磁盘资源，在上面运行具体的任务 2 向yarn提交应用 向yarn提交应用的交互过程，大体如下 3 Flink on Yar
聊聊flink JobManager的heap大小设置
weixin_33835103的博客
02-18 946
序 本文主要研究一下flink JobManager的heap大小设置 JobManagerOptions flink-core-1.7.1-sources.jar!/org/apache/flink/configuration/JobManagerOptions.java @PublicEvolving public class JobManagerOptions { //...... /...
Flink之JobManager和 TaskManager
热门推荐
鸡排小农的博客
03-25 1万+
1.什么是Flink Flink是由Apache开发的开源分布式流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink可以执行批处理和流处理程序，Flink 将批处理（即处理有限的静态数据）视作一种特殊的流处理。 2.流处理 在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你分析数据时，可以围绕 有界流（bounded）或 无界流（unbounded）两种模型来组织处理数据
flink on yarn配置
09-20
Flink on YARN的配置包括以下几个步骤： 1. 安装JDK 2. 安装Zookeeper 3. 安装Hadoop 4. 下载并安装Flink 5. 提交Flink作业到YARN集群 请按照以下步骤配置Flink on YARN： 1. 首先，安装JDK并确保已正确设置JAVA_HOME环境变量。 2. 接下来，安装Zookeeper。您可以根据您的需求从Zookeeper的官方网站上下载并安装最新版本的Zookeeper。 3. 安装Hadoop。您可以根据您的需求从Hadoop的官方网站上下载并安装最新版本的Hadoop。 4. 下载Flink，并将其解压缩到您选择的目录中。 5. 在Flink的安装目录中，使用以下命令提交Flink作业到YARN集群： ```shell ./bin/flink run -m yarn-cluster -p <parallelism> -yjm <jobmanager_memory> -ytm <taskmanager_memory> <jar_file> <arguments> ``` 请替换以下参数： - `<parallelism>`：作业并行度（即任务数量） - `<jobmanager_memory>`：JobManager的内存大小（例如，1024m表示1GB） - `<taskmanager_memory>`：TaskManager的内存大小（例如，4096m表示4GB） - `<jar_file>`：您要提交的Flink作业的jar文件路径 - `<arguments>`：您要传递给作业的其他参数（如果有的话） 以上是Flink on YARN的配置步骤。请按照上述步骤进行配置，并根据您的需求进行相应的参数调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值