yarn-session模式提交flink任务步骤

最新推荐文章于 2025-05-24 00:15:00 发布
原创 最新推荐文章于 2025-05-24 00:15:00 发布 · 1.2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

Session模式

yarn-session.sh(开辟资源) + flink run(提交任务)

1.在yarn上启动一个Flink会话，node1上执行以下命令

/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d

说明:

申请2个CPU、1600M内存

-n 表示申请2个容器，这里指的就是多少个taskmanager

-tm 表示每个TaskManager的内存大小

-s 表示每个TaskManager的slots数量

-d 表示以后台程序方式运行

注意:

该警告不用管

WARN org.apache.hadoop.hdfs.DFSClient - Caught exception

java.lang.InterruptedException

2.查看UI界面

http://node1:8088/cluster

3.使用flink run提交任务：

/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar

运行完之后可以继续运行其他的小任务

/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar

4.通过上方的ApplicationMaster可以进入Flink的管理界面

5.关闭yarn-session：

yarn a

最低0.47元/天 解锁文章

200万优质内容无限畅学
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 912
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
qq_32020645的博客
12-28 1572
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
通过Flink YARN Session来运行任务
zg_hover的专栏
10-11 5046
通过Flink YARN Session来运行任务 本文先介绍Flink YARN Session的基本概念，并介绍如何启动Flink Session，并通过它来运行任务。 简介 Apache Hadoop YARN是一个集群资源管理框架。可以在它之上运行各种分布式应用。在其他应用运行时，Flink也可以运行在其上。 在Flink YARN Session启动时会按配置或参数来申请资源，并会启动Flink的基础服务：JobManager和TaskManagers。这样，就可以向它提交Flink应用了；每个s
Flink基于Yarn多种启动方式详解
最新发布
IT技术学习与工作笔记分享
05-24 1370
随着大数据实时计算需求的日益增长，Flink已成为业界主流的流处理引擎。而在企业级大数据平台中，资源管理和作业调度一般交由Yarn完成。Flink与Yarn深度集成后，不仅充分利用Hadoop生态资源，还能灵活应对各种作业调度和资源隔离需求。本文将系统介绍Flink on Yarn的多种启动方式、适用场景、配置方法及常见问题。Yarn（Yet Another Resource Negotiator）是Hadoop生态的资源管理和调度平台。它负责集群资源统一分配、作业调度和生命周期管理，是目前大数据平台主流的
1.flink的yarn-session环境
流月up的博客
10-18 617
在hadoop环境安装好之后,需要一个yarn-session环境来跑flink任务,此篇任务是在hadoop yarn环境上部署一个flink yarn-session环境,flink 1.17.1版本相关文章聚合链接。
flink1.10三节点集群之yarn-session模式
热门推荐
ASN_forever的博客
05-19 1万+
提前搭建Hadoop集群环境，可以参考这篇文章。 本文章的集群环境： 机器 ip 服务 flink1 172.21.89.128 flink2 172.21.89.129 flink3 172.21.89.130 安装配置flink 安装参考这篇文章 启动一个yarn session（分配1g的jobmanager和4g的taskmanager） [root@flink1 flink-1.10.0]# ./bin/yar...
flink on yarn 提交命令
Sen的博客
02-20 6196
文章目录flink on yarnFlink on Yarn的两种运行方式第一种【yarn-session.sh(开辟资源)+flink run(提交任务)】/bin/yarn-session.sh 命令分析：第二种【flink run -m yarn-cluster(开辟资源+提交任务)】/bin/flink run 命令分析：Flink在YARN上的恢复行为 flink on yarn Fli...
Flink on Yarn三部曲之三：提交Flink任务
程序员欣宸的博客
04-07 6412
Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode，一起来体验这两种模式
flink yarn模式3种提交任务方式
core815的专栏
12-10 2207
Yarn模式3种提交任务方式
Flink On Yarn模式：Yarn-session模式与Pre-Job模式的比较
TechWhiz的博客
08-15 313
在本文中，我们将重点讨论在Flink On Yarn模式下的两种常见使用模式：Yarn-session模式和Pre-Job模式，并比较它们之间的区别。Yarn-session模式是指在Flink On Yarn模式下，用户可以启动一个长期运行的Flink集群，称为Yarn会话（Yarn Session）。资源隔离：Yarn-session模式中，每个Flink任务在Yarn会话中运行在独立的容器中，而Pre-Job模式中每个作业都有自己的Yarn应用。独立性强：每个作业有自己的资源配置，相互之间不影响。
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1238
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
flink-3 flink on yarn
a3125504x的博客
09-17 870
flink on yarn前言第一种模式yarn session模式任务的提交第二张模式yarn-cluster模式下任务的提交指令参数flink on yarn运行原理flink on yarn部署 前言 flink可以提交都不同集群，提交到yarn上只是其中一种比较常见的选择。 flink on yarn有两种模式 yarn session yarn cluster 其区别主要资源的申请和释放 第一种模式 内存集中管理模式（yarn session） 在Yarn中初始化一个Flink集群，开辟指
Flink1.18.0集成Yarn-session模式部署
weixin_43655425的博客
01-19 1532
YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。分发flink安装目录到2、3、4节点。flink版本：1.18.0。浏览器打开flink-ui地址。这次集成下flink。
Flink on Yarn集群搭建（三）--- Flink集群搭建 Session Cluster模式
qq_35136754的博客
01-10 1602
flink on yarn session cluster 会话模式
60-008-022-使用-命令-yarn-session命令
九师兄
03-12 1792
1.视界 2. Flink On Yarn 2.1 概述 在yarn上启动一个一直运行的flink集群 2.1 两种模式 第一种：在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 第二种(推荐)：每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消...
3.Flink-On-Yarn开发使用\原理\Session会话模式\Per-Job模式
涂作权的博客
07-06 2097
本文来自：Flink1.12-2021黑马程序员贺岁视频3.Flink-On-Yarn开发使用 3.1.原理 3.2.两种模式 3.2.1.Session会话模式 3.2.2.Per-Job模式 3.3.操作 3.4.测试 3.4.1.Session会话模式 3.4.2.PerJob模式为什么使用flink on yarn ? 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：具体步骤： 准备Flink程序jar和配置 0：提交 1：上传任务/依赖jar,配置到hdf
大数据flink篇之三-flink运行环境安装后续一yarn-session安装
a18852867035的博客
10-14 1212
具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。
flink提交作业到yarn
chanyue123的博客
12-01 8982
讲解flink如何提交到yarn
Flink:Yarn-Session 启动
u012566690的专栏
08-29 3019
背景： 自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程 ##1. 参照文档，下载&&编译flink 源码,这个时候，s
yarn-session.sh -qu 如何设置
03-31
<think>嗯，用户问的是关于yarn-session.sh的-qu参数用法和配置方法。首先，我需要回忆一下Flink on YARN的相关知识。记得-qu是用来指定YARN队列的，对吧？用户可能在使用yarn-session的时候需要将任务提交到特定的资源队列，比如区分不同的团队或者项目。 那先得确认-qu参数的作用。根据引用里的信息，比如引用3中提到了命令里有-qu root.flink，这说明-qu后面接的是队列名称。需要告诉用户这个参数的基本语法，比如在yarn-session.sh后面加上-qu <队列名>。 接下来，用户可能想知道如何正确配置这个参数。可能需要检查YARN的队列配置是否存在，否则会提交失败。例如，如果用户指定的队列不存在，YARN会报错。所以需要提醒用户先用yarn命令查看可用队列，比如yarn queue -status。 然后，可能还需要提到一些注意事项，比如资源队列的权限问题，用户是否有权限提交到那个队列。还有，如果-qu参数不生效，可能有其他配置覆盖了它，或者脚本版本问题。比如引用3提到过应用名和队列无效的问题，可能参数位置不对，应该放在yarn-session.sh之后，而不是flink run的时候。 另外，需要给出一个具体的示例，帮助用户理解如何使用。比如引用3中的命令，-qu root.flink，这样用户可以看到实际的用法。还要说明其他参数的作用，避免混淆，比如-nm是应用名称，-qu是队列名称。 可能用户还会遇到问题，比如参数无效，这时候需要指导他们如何排查，比如检查YARN的配置，或者查看日志。引用5中的错误解决可能涉及资源不足，但这里主要关注队列设置是否正确。 总结一下，回答应该分步骤：1. 参数作用，2. 使用方法，3. 验证队列是否存在，4. 示例，5. 注意事项。这样结构清晰，用户能一步步跟着操作。</think>### 关于 `yarn-session.sh` 的 `-qu` 参数用法及配置方法 #### 1. `-qu` 参数的作用 `-qu` 参数用于指定 **YARN 资源队列（Queue）**，允许将 Flink 任务提交到特定的 YARN 队列中，以实现资源隔离和多租户管理。例如，在集群中为不同团队划分独立队列时，可通过此参数控制任务资源分配[^3][^4]。 #### 2. 使用方法 在启动 `yarn-session` 时，直接在命令中通过 `-qu` 指定队列名称： ```bash $FLINK_HOME/bin/yarn-session.sh -qu <队列名称> [其他参数] ``` 例如： ```bash $FLINK_HOME/bin/yarn-session.sh -qu root.flink -n 5 -jm 1g -tm 4g -nm fsql-cli ``` 此处将任务提交到 `root.flink` 队列，并设置容器数量、内存等参数[^3]。 #### 3. 配置验证 - **检查队列是否存在**：通过 YARN 命令验证队列是否已正确配置： ```bash yarn queue -status <队列名称> ``` 若队列不存在或权限不足，任务提交会失败。 - **资源匹配**：确保队列的资源配额（如内存、CPU）满足任务需求，否则可能触发资源不足错误[^5]。 #### 4. 注意事项 - **参数位置**：`-qu` 必须作为 `yarn-session.sh` 的参数，而非 `flink run` 的参数。 - **优先级问题**：若 YARN 集群配置了默认队列，且未显式指定 `-qu`，任务会提交到默认队列。 - **权限控制**：需确保用户对目标队列有提交权限（由 YARN ACL 控制）[^2][^4]。 #### 5. 示例场景 假设需向 `root.production` 队列提交一个 Flink Session 集群： ```bash $FLINK_HOME/bin/yarn-session.sh \ -qu root.production \ -n 4 \ -tm 4096m \ -s 8 \ -jm 2g \ -nm flink-prod-job ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值