Flink run application 提交 job

最新推荐文章于 2025-01-27 13:43:06 发布

訾零

最新推荐文章于 2025-01-27 13:43:06 发布

阅读量2.4k

点赞数 1

分类专栏： Flink 文章标签： flink

本文链接：https://blog.youkuaiyun.com/lingeio/article/details/113888021

版权

1. 上传 flink 相关 plugins 到hdfs

2. 上传 flink 相关依赖到 hdfs

根据自己业务需求上传相关的 jar

3. 上传用户 jar 到 hdfs

减少网络传输，当然也可以指定服务器上的jar

4. 提交任务

flink run-application -t yarn-application \
-c com.sm.analysis.rdw.SdkDataEtlOdsToDwd \
-Djobmanager.memory.process.size=1600m \
-Dtaskmanager.memory.process.size=2048m \
-Dtaskmanager.numberOfTaskSlots=2 \
-Dparallelism.default=2 \
-Dyarn.p

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

訾零

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

flink-Job提交和参数配置

互联网知识分享

05-18

732

可以看到默认的配置文件中taskmanager.numberOfTaskSlots:1 每个TaskManager的slots的个数为1，其实整个设置要根据电脑的cpu核素，如果是2核就可以设置为2(电脑的几核决定了可以同时做几件事情，4核就可以同时做4事情，也就是平行度为4)。（1）fink设置语法env.setParallelism(2)//设置并行度，如果设置的是1，那么在控制台就不会显示，如果设置的是>=1，就会显示。，jar包进行正在远行时 spark或flink集群的webUI是才会启动。

Flink1.11 Application Mode Submit Job 通过 Java API 的方式提交作业到 Yarn （实时计算平台）

三石

12-04

3568

实时计算平台

1 条评论您还未登录，请先登录后发表或查看评论

flink1.15源码笔记(run模式简单带过，主要看run-application)

weixin_44429965的博客

07-01

1040

从源码层面去查看flink的运行机制，时间有限，超不定时持续更新中。。。

FLINK-启动命令2（Application 模式） -Dyarn.provided.lib.dirs

CarloPan的博客

07-18

4147

1. 背景 flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。 2. 优势 Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。 Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行

flink 常见shell命令整理 --笔记整理

最新发布

努力做最接地气的编程干货分享，感谢关注

01-27

478

flink run参数说明 flink shell命令汇总整理

Flink 1.13 CliFrontend之runApplication源码解读

无忧

07-05

1065

提示：本文的源码是基于Flink 1.13版本文章目录前言一、application模式提交命令二、源码解读1. 整体运行流程2. runApplication方法解读2.1 deployer.run方法解读2.2 clusterDescriptor.deployApplicationCluster方法解读2.3 deployInternal方法解读2.4 startAppMaster方法解读前言 Flink具有多种提交方式，比如：常用的local模式，stantalone模式，yarn模式，k8s

【flink 任务提交源码】application模式提交【1】

m0_51188561的博客

07-02

1412

flink源码，任务提交，application模式，yarn

Flink作业提交

胖虎儿的博客

05-16

6997

当我们使用IDEA/ECLIPSE 编辑器，对我们自己的Flink计算逻辑编辑完成之后呢，会将程序打包到服务器，使用Flink组件去计算（让JObManger去帮助我们进行作业管理）（一）服务器执行命令提交（1）作业打包可使用IDEA打包插件，或者执行package命令mvn clean package，对我们java程序进行打包（2）上传至服务器（3）执行命令提交命令: flink脚本<bin目录下flink脚本> run -c<作业Main方法所在类全限定名> 作

Flink K8s Application任务的使用

qq_18379607的博客

11-28

1087

flink的提交任务

weixin_45896475的博客

03-05

865

flink的提交任务 1.web页面上传程序代码,填入要1.执行的maind的全类名,2.并行度3.接收机器和端口号, 2.还有一种就是直接在项目(idea)中就直接执行程序!结果将会打印在控制台, 3.再有一种就是在linux中提交任务将jar包上传到lunux,到flink的命令下bin下, -c 指定main方法的全类名 -n 指定main的名字 -p 指定并行度 -m 指定jobmana...

flink-1.11 Application 模式

yuchuanchen的专栏

07-27

5672

Run application

迷茫的小莱

10-28

1179

Run application运行程序Runs an application using a command line.使用命令行运行程序Description 描述Optionally, you may add comments here describing the purpose of this element.您可以随意地添加注释为每一个元素.Path路径Choose the path to an application. 选择应用程序路径.APPLICATION DATA PATH - Progr

【Flink基础】-- Flink Application Mode

欢迎来到我的博客，一起探索代码里的世界！

10-18

1342

但是，该模式下，如果集群中的一个作业行为不正常或导致 TaskManager 宕机，则在该 TaskManager 上运行的所有作业都将受到故障的影响。Application 模式为每个提交的作业创建一个集群，但作业的main（）方法将在JobManager上执行，以节省提取job graph所需的CPU周期，也节省客户端下载依赖及将job graph及其依赖关系传送到群集所需的带宽。总之，在 Session 模式下，集群生命周期独立于集群上运行的任何作业，并且集群上运行的所有作业共享集群资源。

flink教程-详解flink 1.11中的新部署模式-Application模式

公众号[大数据技术与应用实战]，分享大数据实战案例

07-22

7281

目前对于flink来说，生产环境一般有两个部署模式，一个是 session模式，一个是per job模式。session模式共享资源，如果一个任务出现了问题，会影响其他的任务，per job模式需要有大量的jar和资源拷贝，并且生成JobGraph都是在本地做的，如果任务多的话，会给服务器造成很大的压力，所以flink引入了application模式。Yarn Application 模式会在客户端将运行任务需要的依赖都上传到 Flink Master，然后在 Master 端进行任务的提交

Flink SQL自定义jobName

文报的博客

03-31

5018

Flink 版本1.14.0 通过StreamTableEnvironment获取对应的Configuration 然后设置pipeline.name就可以自定义jobName了 StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); Configuration configuration = tableEnv.getConfig().getConfiguration(); .

探究 Flink1.11 Application 运行模式

http://www.54tianzhisheng.cn/

10-05

715

点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章来源 |https://segmentfault.com/a/11900000...

Flink03---Flink中怎么提交任务

A0ZBC的博客

03-22

508

1.提交任务的两种方式 1.Flink web ui（下面详细介绍） 2.命令行在Flink安装的根目录下执行 ./bin/flink run -c 包名.主类名 -p 并行度参数 jar包路径程序参数测试例子： ./bin/flink run -c com.scau.zcw.streamWordCount -p 3 /opt/jarhome/Flink01-1.0-SNAPSHOT.jar --host localhost --port 7777 此时对应的取消任务的方式为 //列举出当前的任务

flink sql指定作业名称：No operators defined in streaming topology. Cannot execute

记录日常开发过程中遇到的一些问题

09-15

3939

在flinksql中不能通过env.execute(topNJob.class.getName())的方式指定作业名称(jobname)，解决办法： // 设置sql运行脚本名称，在flink 1.13.2中生效，在flink1.12.0版本也可以用 StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); tableEnv.getConfig().getConfiguration().setString("pipe

Flink命令行启动Job任务

平凡的运维之路的博客

04-11

876

Flink非交互式运行Job任务。Flink命令行启动Job任务。Flink查看当前运行Job。Flink查看当前运行Job。

flink yarn job提交

12-02

1. **创建Job Submission File**（如`flink-job.jar`）: 首先，你需要在Flink环境中编写并编译一个Flink程序（例如使用`./bin/flink run -c YourJobClass your-program.jar`），这将会生成包含所有依赖和配置的jar包...