Flink学习笔记（2）——任务提交模式

最新推荐文章于 2025-02-07 10:00:29 发布
最新推荐文章于 2025-02-07 10:00:29 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/anyitian/article/details/116270728
版权
本文详细介绍了Apache Flink的两种任务提交模式：Standalone模式和Yarn模式。在Standalone模式中，可通过Web UI或命令行提交任务，需要注意分配的slot数量。在Yarn模式下，分为Session Cluster和Per Job Cluster，前者适用于小规模、短时间运行的作业，后者则适合大规模、长时间运行的任务。每种模式的启动、提交和管理作业的方法也有所不同。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前言

本文介绍flink的任务提交模式。

Standalone模式

  • Web UI提交job
    打开flink的Web UI，在Web UI的Submit New Job提交jar包。
    在这里插入图片描述
    在这里插入图片描述
    Job参数：

    Entry Class：程序的入口，指定入口类（类的全限制名）
    Parallelism：任务的并行度 Program
    Arguments：程序启动参数，例如–host localhost --port 7777
    Savepoint Path：手动备份地址

    提交job要注意分配的slot总数是否足够使用，如果slot总数不够，那么job执行失败。

  • 命令行提交job
    1）提交任务：flink run -c <入口类> -p <并行度> <jar包路径> <启动参数>

    flink run -c wc.WordCountSocketStream -p 1 /opt/flink-1.12.2/job/flink_tutorial-1.0-SNAPSHO

最低0.47元/天 解锁文章
Flink学习笔记02：Flink三种运行模式
howard2005的专栏
03-23 2872
Flink Local 模式、Flink Standalone 模式、Flink on Yarn 模式
flink重温笔记（十一）：Flink 高级 API 开发——flink 四大基石之 Checkpoint（详解存储后端）
m0_60732994的博客
03-06 2580
1- Flink 检查点机制，（协调者）定期在数据流上生成 checkpoint barrier；2- 当某个算子接收到barrier（数据栅栏） 时，会基于当前状态生成一份快照；3- 后将 barrier 传递给下游算子，依次快照并传递下去，直到 sink；4- 出现异常时，根据最近的快照数据，将所有算子恢复到之前状态；5-收到所有算子的报告后，才认为该周期快照成功。flink-conf.yaml 配置文件的 restart-strategy 配置参数决定重启策略。重启策略重启策略值。
flink的常见的任务提交方式
zhizhi120的博客
01-26 2772
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
Apache Flink 任务提交模式
0102的博客
07-21 1086
Application 模式与Per-job类似，只是不需要客户端，每个Application提交之后都启动一个JobManager，也就是创建一个集群，这个JobManager只为执行这一个Flink Application而存在，Application中的多个Job都会共用该集群， Application执行结束之后JobManager也就关闭了。缺点：每个作业都在客户端享集群JobManager提交，如果一个时间点大量提交Flink作业会造成客户端占有大量网络带宽，会加重客户端所在节点的资源消耗。
FLINK作业提交方式
最新发布
ada2014的博客
02-07 213
作业执行完毕后，Flink on yarn集群会被关闭。首先启动Flink Yarn Session，它是一个常驻与Yarn的Flink集群。在Yarn创建一个Flink集群，然后在提交任务客户端所在机器本地运行作业jar的main方法，提交生成的JobGraph到Flink集群的JobManager。每个作业都使用单独的Flink集群，它们消耗的资源是互相隔离的，一个作业的崩溃不会影响到其他作业。Flink作业提交的方式分为application模式，per-job模式和session模式。
Flink任务提交流程和运行模式
XuXuemin的专栏
08-08 1704
Flink的任务提交流程过程说明，Flink集群的运行模式及其下的任务部署模式
大数据培训：Flink的提交模式
weixin_45695430的博客
02-28 1215
前言 这篇文章应先以了解flink组件为开始，再以简单模式Local 和 Standlone 正式进入正题。本篇主要是以Yarn 方式下三种模式展开细讲，当然还有Kubernetes方式（本篇不细说）。 组件 在了解提交模式之前，先了解一下Flink组件与组件之间的协作关系。 资源管理器（Resource Manager) （1）主要负责管理任务管理器TaskManager的插槽slot。 （2） 当作业管理器JM申请插槽资源时， RM会将有空闲插槽的TM分配给JM。如果 RM没有.
Flink的多种提交方式
热门推荐
Widsom的博客
10-31 2万+
Flink的多种提交/运行方式 Flink具有多种提交方式，比如：常用的local模式，stantalone模式，yarn模式，k8s等。 这里主要对比local，stantalone，yarn三种提交方式。 一、本地（local）模式，仅开发使用 1.1 纯粹的local模式运行 这就是直接运行项目中的代码的方式提交： public class TestLocal { public st...
Flink学习笔记
06-30 449
文章目录Flink介绍Flink简介为什么要用flinkFlink技术特点flink基本架构构建项目Flink 部署及运行Flink基本概念Flink DataStream操作1. 分布式流处理的基本模型2. Flink DataStream程序结构3.DataStream操作4. 理解KeyedStream检查点保存检查点目录结构从保存的检查点恢复保存点savepoint 和 checkpoint 区别触发保存点checkpoint执行流程Checkpoint Expire 过期Checkpoint 的配
最全Doris实战——结合Flink构建极速易用的实时数仓_flink doris
2301_82241942的博客
05-04 1493
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。
flink on k8s模式通过web UI界面查看任务运行情况
直到世界的尽头
03-08 4684
我们之前已经成功部署了flink on k8s flink on k8s部署方案实践–详细步骤 单纯看pod的log，是无法查看和排查所有情况的。 有时候需要查看job的运行情况。 一般我们在运行flink任务时，需要查看它的job运行情况。 比较常用的方式就是在flink的UI界面上查看。 一般的flink 因为jobmanager 所在的node是固定的，ip也就是固定的，所以能够通过ip或者域名映射后即可很方便的进行访问。 flink on k8s比较特别的是jobmanager 是一个在k8s集群中
Flink任务提交流程
sijiwang95的博客
04-11 1001
Flink任务提交流程
Flink的job提交全流程及web ui提交任务方式
MyNameIsWangYi的博客
08-19 3739
Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。其实本来觉得这篇文章不需要写的，但是在网上搜了一下，有的提交的时候参数写的不全，还有的居然是收费文章！随后左边的就可以看见tm和jm的状态了。
Flink 任务提交与执行流程
weixin_45626756的博客
01-17 2317
JobGrap的接受与运行 上文我们讲解了客户端将用户代码最终转化为JobGrap之后，通过Dispatcher的网关将JobGrap提交给Dispatcher。之后Dispatcher通过JobManagerRunnerFactory工厂类创建JobManagerRunner实例，最终调用JobManagerRunner实例启动JobManager服务。JobManager服务的底层主要通过JobMaster实现的，负责整个作业的生命周期和Task调度工作。 JobGrap提交整体流程 flink客户端
flink任务提交运行流程
lijian972的博客
08-24 696
flink的任务提交流程
(2021-03-26)大数据学习之Flink安装部署以及任务提交/调度详解
qq_23665305的博客
03-17 600
Flink学习之安装部署以及API方法1.Flink快速安装2. Flink运行时组件3. Flink任务提交流程以及任务调度3.1 任务提交流程（YARN）3.2 任务调度原理3.3 TaskManager 与Slots3.3.1 作用与关系 1.Flink快速安装 Flink下载地址 选择对应的版本，然后进入之后选择带有scala的tagz包。之所以选择是因为Flink的runtime层使用到了akka是由scala写的。 下载成功之后上传到服务器上。 解压 tar -zxvf flink-1.12.
Flink源码篇，作业提交流程、作业调度流程、作业内部转换流程图
http://www.54tianzhisheng.cn/
03-21 2171
Flink核心篇，四大基石、容错机制、广播、反压、序列化、内存管理、资源管理Flink基础篇，基本概念、设计理念、架构模型、编程模型、常用算子Flink源码篇，作业提交流程、作业调度流程、...
Flink 查看作业执行计划
为一个人走几座城
04-01 1283
当我们在开发Flink任务的时候，一般情况下Source-Transform-Sink流程就能满足基本的需求了。但是当应用变得非常复杂的时候，可能在一个Job里算子的个数会达到很多，几十、几百。这个时候整个程序就会变得非常复杂，所以如果能随时本地开发时能及时知道Job的执行计划就非常方便了。 为了满足我们类似的需求，可以两种方式去实现。 一、 <dependency> <groupId>org.apache.flink</groupId> <
Flink入门教程--Jobs and Scheduling(任务和调度)
vim_wj的博客
09-12 1万+
原谅链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/job_scheduling.html#jobs-and-scheduling该文档简单描述了Flink是如何调度Job的，以及如何在JobManager上表现并跟踪Job状态。调度Flink通过任务槽（Task Slot）定义执行资源，每个TaskM
尚硅谷Flink学习笔记深度解析
综上所述，尚硅谷的Flink笔记是一个非常适合想要深入了解和学习Flink技术的学习者或开发者的资料，它可以帮助他们建立起对Flink框架的全面认识，以及如何在实际项目中应用Flink进行复杂的数据处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值