Flink任务提交时通过`-t`选项指定模式后无法指定YARN参数

最新推荐文章于 2025-06-15 17:36:11 发布
最新推荐文章于 2025-06-15 17:36:11 发布
阅读量114 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CodeHeroicX/article/details/132290818
大数据 专栏收录该内容
213 篇文章 ¥59.90 ¥99.00
订阅专栏
当使用Apache Flink提交任务到YARN集群时，指定模式后无法设置YARN参数。本文介绍如何通过理解Flink任务提交机制和使用Java API手动设置YARN参数，以解决这个问题。通过手动设置，可以在保持模式指定的同时灵活调整YARN配置，适应不同大数据处理需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink任务提交时通过-t选项指定模式后无法指定YARN参数

在大数据领域，Apache Flink是一个功能强大的流处理和批处理框架。当我们使用Flink提交任务到YARN集群时，有时候会遇到一个问题：通过-t选项指定模式之后，无法再指定其他的YARN相关参数。这可能导致在特定场景下无法满足我们的需求。

为了解决这个问题，我们需要深入了解Flink的任务提交机制以及YARN的相关配置。同时，我们可以使用Flink提供的Java API来手动提交任务并设置YARN参数。下面将以一个实际的案例来说明如何解决这个问题。

首先，我们需要导入Flink的相关依赖包，并创建一个Flink任务的入口类。在这个类中，我们可以定义Flink作业的业务逻辑。

import org.apache.flink.api.common
了解本专栏 订阅专栏 解锁全文
【Flink】flink-1.12 通过 -t 指定模式后无法指定yarn参数
九师兄
06-06 455
1.概述 转载：【Flink 纠错】flink-1.12 通过 -t 指定模式后无法指定yarn参数 1.1 问题描述 我们使用flink 1.12提交任务到yarn时，遇到个比较奇怪的问题，我们的提交命令如下： flink-1.12.0/bin/flink run -ynm chenTest -t yarn-per-job -yqu da_team -c com.test.FlinkTest Flink-1.0-SNAPSHOT.jar 通过参数指定application名称和yarn队列后，我们发.
flink提交作业到yarn
chanyue123的博客
12-01 8936
讲解flink如何提交到yarn
Flink
小道的博客
12-11 2048
Flink知识点
flink安装记录-yarn模式运行
crazy_rays的专栏
04-22 554
flink-yarn hadoop
【Flink 纠错】flink-1.12 通过 -t 指定模式后无法指定yarn参数
ChengYanan的博客
01-29 1681
问题描述 我们使用flink 1.12提交任务到yarn时，遇到个比较奇怪的问题，我们的提交命令如下： flink-1.12.0/bin/flink run -ynm chenTest -t yarn-per-job -yqu da_team -c com.test.FlinkTest Flink-1.0-SNAPSHOT.jar 通过参数指定application名称和yarn队列后，我们发现任务在yarn上的名称并不是-ynm定义的，并且提交的队列也不对。后面我们换成 -m 指定提交模式后就正常了。
Flink的Yarn-Per-Job提交指令
mp9105的博客
05-18 1万+
Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务 主要描述该部分的提交流程 1.提交任务 提交任务主要是通过./bin/flink run -t yarn-per-job完成 常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -
Flink-Yarn安装及使用
chenlei0520的博客
02-08 1355
在YARN平台上Flink是如何集成部署的
flink任务提交、内存、并行度设置
javaMylife的博客
08-14 695
standalone：包括 standalone-session standalone-application。但是 per-job被官网废弃了，用application替代per-job！flink任务提交方式有3种 session、per-job、application三种。flink任务运行底座也有三种，Standalone、yarn、k8s。原则上一个flink任务运行的方式由3*3=9种，但是有些是没法搭配的。yarn：包括yarn-session 、k8s: 包括 k8s-session、
Flink入门系列--安装部署及任务提交(1.14.3版本)
打酱油的葫芦娃
03-12 8169
部署模式 Flink 的部署模式分为3种: Application 模式 Per-Job 模式 Session 模式 Application 模式 Application 模式即 Flink 为1个应用专门创建1个集群，Flink集群和应用同生命周期，Application 的main()方法将由 JobManager执行。在其他部署模式下，用户 Jar 文件是通过 RPC 来进行分发的，因为需要走网络IO，当用户 Jar 文件较大时，JobManager 加载用户 Jar 文件将是1个耗时的操作。为
【Flink 调优】【第一章】【资源配置调优】
weixin_43589563的博客
02-15 2891
资源配置调优1. 内存设置1.1 TaskManager内存模型1.2 生产资源配置2. CPU资源的合理使用2.1 使用DefaultResourceCalculator策略2.2 使用DominantResourceCalculator策略2.3 使用DominantResourceCalculator策略并指定core个数总结3. 并行度设置3.1 全局并行度计算案例3.2 Source端并行度配置3.3 Transform端并行度配置3.4 Sink端并行度配置 1. 内存设置 1.1 Tas
Flink内核源码（一）任务提交流程
小朱小朱绝不认输的博客
07-12 2747
Flink内核源码学习，对于Yarn-per-job模式的任务提交过程，通过源码深入了解执行过程。
flink部署模式（二）- yarn三种部署模式
weixin_38251332的博客
06-20 1592
基于flink1.15.0开启flink yarn-session集群 提交任务进入客户端交互界面强制杀掉任务NOTE： 启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager启动perjob集群 查看集群上运行的job ./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1652928425471_0252 取消某个job**NOTE：**在per
关于Flink命令的参数说明
Kruskual的博客
01-19 1783
英文好，理解强的同学请看官方解释。 觉得麻烦的同学，请先阅读文末笔者的笔记。 官方解释如下： [yuaf@hadoop32 flink-yarn]$ bin/flink --help ./flink <ACTION> [OPTIONS] [ARGUMENTS] The following actions are available: Action "run" compiles and runs a program. Syntax: run [OPTIONS] <jar-file&
Flink最全面教程(自己总结的)
MoLeft's Blog
05-06 1万+
用了100+天总结出来的Flink学习笔记
一文弄懂Flink基础理论
热门推荐
Haiwi-Song
10-22 5万+
文章目录Flink概述Flink生态为什么选择Flink?系统架构JobManager运行架构常用的类型和操作程序结构介绍并行数据流Task and Operator Chains核心原理Window&TimeWindowTimeState状态管理按组织形式的划分按照数据的划分和扩张方式Checkpoint容错机制Savepoint保存点Savepoint 和 CheckpointFlin...
flink提交任务参数
GavinKai
04-01 4161
网上参数众说纷纭不切实际 提交yarn任务参数设置： 参数 建议值 描述 -n (taskmanager) 节点数*（4-8） 1.10已废弃 该参数为Flink的taskmanager数目，Flink引擎运行需要由一个jobmanager以及若干个taskmanager构成。每个taskmanager都是独立的一部分，当有Flink应用需要运行时，会被随机分配到一个taskmana
Flink在YARN上支持的三种部署方式及使用方式
penriver的博客
09-10 3254
前提 安装yarn集群并启动 配置HADOOP_CLASSPATH环境变量 export HADOOP_CLASSPATH=`hadoop classpath` Flink在YARN上支持的部署方式 对于生产使用，建议Per-job or Application Mode部署Flink应用程序，因为这些模式为应用程序提供了更好的隔离。 详见参见： flink on yarn Application Mode Application Mode将在YARN上启动一个Flink集群，其中应用程序j
Flink-独立集群/Yarn
qq_45409791的博客
07-30 499
flink独立集群、yarn
Docker + PyFlink1.17 数据写入 MySQL
最新发布
开码河粉
06-15 620
docker, flink 1.17 , mysql，实现数据etl
flink yarn安装配置到部署
03-13
$FLINK_HOME/bin/flink list -t yarn-application -Dyarn.application.id= ``` 取消某个正在执行的任务则可通过该方法实现： ```bash $FLINK_HOME/bin/flink cancel -m yarn-cluster ``` #### 7. 测试验证 提交...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值