Flink 提交任务的两种方式

最新推荐文章于 2025-03-20 17:35:37 发布
最新推荐文章于 2025-03-20 17:35:37 发布
阅读量1.1w 收藏 8
点赞数 6
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzb348110175/article/details/104061474
版权
Flink 专栏收录该内容
34 篇文章 ¥39.90 ¥99.00
订阅专栏
本文介绍了Flink任务提交的两种方式：Web界面和命令行。在Web界面中，通过Submit New Job提交任务，并启动Socket服务进行实时数据输入。而在命令行，通过指定JobManager的REST端口、并行度、类名等参数来提交任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文开头附：Flink 学习路线系列 ^ _ ^

向 Flink 集群提交任务，共有以下两种方式：

  • 使用Web页面Submit New Job方式提交
  • 使用命令行方式提交

示例

       Flink 安装包，自带有一些示例程序，我们只需要将 Flink 安装包解压即可。解压缩后，我们会在 examples 目录下面，看到一些示例程序。
在这里插入图片描述
接下来，我们使用 streaming 文件夹中的 SocketWindowWordCount.jar （从Socket端口读数据,执行WordCount）来演示如何提交任务。

了解本专栏 订阅专栏 解锁全文
Flink多种模式任务提交
L
05-20 1950
目录 界面方式 命令方式 测试代码如下： package wordcount import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ /** * Created by leboop on 2020/5/19. */ object StreamWordCount { def main(args: Array[String]): Unit = {
对比Flink作业提交的几种方式
litlit023的专栏
01-02 1470
1. Session Mode 1.1 流程 （1）session mode会预分配资源，根据指定资源实现创建一个flink集群常驻与Yarn中，并启动一个JobManager和若干TaskManager。 （2）这时可以直接提交作业，节省了申请和分配资源的开销 1.2 优缺点总结 （1）该模式下所有job共享这些固定的资源，而且作业之间不能隔离，会出现资源竞争的情况。 （2）当一个TM发生故障，那么所有在这个节点上的job都会失败。 （3）当提交的作业越来越多时，JM的负载会越来越高。 1
Flink的多种提交方式
热门推荐
Widsom的博客
10-31 2万+
Flink的多种提交/运行方式 Flink具有多种提交方式，比如：常用的local模式，stantalone模式，yarn模式，k8s等。 这里主要对比local，stantalone，yarn三种提交方式。 一、本地（local）模式，仅开发使用 1.1 纯粹的local模式运行 这就是直接运行项目中的代码的方式提交： public class TestLocal { public st...
Flink启动任务代码详解
最新发布
swg321321的博客
03-20 1087
Flink从算子到作业运行的代码详解。以及Task运行算子的原理
flink的常见的任务提交方式
zhizhi120的博客
01-26 2805
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 5514
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
Flink三种提交方式
GavinKai
10-30 8127
第一种方式：YARN session 操作步骤 说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.
Flink – submitJob
weixin_34381687的博客
02-10 427
Jobmanager的submitJob逻辑， /** * Submits a job to the job manager. The job is registered at the libraryCacheManager which * creates the job's class loader. The job graph is appended to the co...
二百八十四、Flink——Flink提交任务两种方式（亲测、附截图）
tiantang2renjian的博客
01-16 1105
Flink——Flink提交任务两种方式（亲测、附截图）
flink yarn模式3种提交任务方式
core815的专栏
12-10 2165
Yarn模式3种提交任务方式
Flink学习笔记之提交任务
weixin_45524021的博客
01-09 1278
提交任务的形式有多种 一、Web页面提交方式 在集群启动之后, 在localhost:8081 可以很清楚的查看到 集群的运行状态, TaskManager、JobManager等等。 打包处理的时候还会涉及并行度的问题,我们可以根据情况自行设置。并行度问题：env 可以设置环境的并行度,每一步操作都可以设置 setParallelism 并行度。并行度优先级: 代码 -》全局 -》提交JobWeb-》集群配置文件默认并行度。 show plan 查看执行的 ...
Flink-任务提交流程
qq_38304392的博客
05-30 564
运行时架构 各组件的交互： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同(例如 YARN，Mesos，Kubernetes，standalone 等)，其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程： Flink 任 务 提 交 后 ， Clien...
大数据培训：Flink的提交模式
weixin_45695430的博客
02-28 1225
前言 这篇文章应先以了解flink组件为开始，再以简单模式Local 和 Standlone 正式进入正题。本篇主要是以Yarn 方式下三种模式展开细讲，当然还有Kubernetes方式（本篇不细说）。 组件 在了解提交模式之前，先了解一下Flink组件与组件之间的协作关系。 资源管理器（Resource Manager) （1）主要负责管理任务管理器TaskManager的插槽slot。 （2） 当作业管理器JM申请插槽资源时， RM会将有空闲插槽的TM分配给JM。如果 RM没有.
Flink作业提交流程
WHY的博客
02-07 2193
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
Flink运行时之客户端提交作业图-下
VinoYang的专栏
04-02 7801
submitJob方法分析JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job，JobManager接收到消息对象之后，构建一个JobInfo对象以封装Job的基本信息
flink提交任务的两种方式
weixin_43648241的博客
10-09 1116
1、命令行提交 [root@doitedu01 flink-1.11.1]# bin/flink run -m doitedu01:8081 -c cn.mydoit.day01.StreamWordCount -p 4 /doit16/flink-java-1.0.jar [root@doitedu01 flink-1.11.1]# bin/flink run -m doitedu01:8081 -c cn.mydoit.day01.StreamWordCount -p 4 /doit16/flink-
详解Flink作业提交流程
slivelight的博客
03-27 5513
一、提交流程 Flink 作业在开发完毕之后，需要提交到 Flink 集群执行。ClientFronted 是入口，触发用户开发的 Flink 应用 Jar 文件中的 main 方法，然后交给 PipelineExecutor（流水线执行器，在 FlinkClient 升成 JobGraph 之后，将作业提交给集群的重要环节。）#execue 方法，最终会选择一个触发一个具体的 PiplineExecutor 执行。 提交模式又可分为： Detached：Flink Client 创建完集
Flink-提交job
qq_70085330的博客
08-21 2441
Flink-提交job方法
八种flink任务告警方式
01-21
### Flink 任务告警方法及其实现 #### 方法一：基于日志文件的监控 通过配置 Log4j 或其他日志框架，可以设置特定的日志级别来捕获错误信息并触发告警。当检测到 ERROR 或 WARN 级别的日志条目时，可以通过邮件或...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值