Flink的任务提交模式：深入解析与实例演示

最新推荐文章于 2025-02-07 10:00:29 发布

MfvShell

最新推荐文章于 2025-02-07 10:00:29 发布

阅读量126

点赞数

本文链接：https://blog.youkuaiyun.com/MfvShell/article/details/133343684

版权

Flink 专栏收录该内容

64 篇文章 ¥59.90 ¥99.00

订阅专栏

本文深入解析Apache Flink的任务提交模式，包括本地模式（用于开发、调试和测试）和集群模式（适合生产环境大规模数据处理）。通过实例演示，展示了如何在不同模式下提交和执行Flink作业。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

任务提交模式是Apache Flink中的关键概念之一，它决定了作业如何在Flink集群中提交和执行。本文将详细介绍Flink的任务提交模式，并通过实例演示来展示其工作原理。我们将探讨两种常见的提交模式：本地模式和集群模式，并提供相应的源代码示例。

本地模式（Local Mode）

本地模式是在本地机器上提交和执行Flink作业的方式。在本地模式下，Flink作业将在本地JVM进程中运行，而不需要连接到远程集群。这种模式通常用于开发、调试和测试目的。

下面是一个简单的本地模式示例：

import org.apache.flink.api.java.ExecutionEnvironment

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MfvShell

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Flink 提交模式

anguoan的博客

03-04

756

flink on k8s 介绍

Apache Flink连载（十五）：Flink任务提交模式

qq_32020645的博客

12-19

992

Flink分布式计算框架可以基于多种模式部署，每种部署模式下提交任务都有相应的资源管理方式，例如：Flink可以基于Standalone部署模式、基于Yarn部署模式、基于Kubernetes部署模式运行任务，以上不同的集群部署模式下提交Flink任务会涉及申请资源、各角色交互过程，不同模式申请资源涉及到的角色对象大体相同，下面我们以Flink运行时架构流程为例来总体了解下Flink任务提交后涉及到对象交互流程，以便后续学习不同任务提交模式下任务提交流程。

1 条评论您还未登录，请先登录后发表或查看评论

Flink的多种提交方式

Widsom的博客

10-31

2万+

Flink的多种提交/运行方式 Flink具有多种提交方式，比如：常用的local模式，stantalone模式，yarn模式，k8s等。这里主要对比local，stantalone，yarn三种提交方式。一、本地（local）模式，仅开发使用 1.1 纯粹的local模式运行这就是直接运行项目中的代码的方式提交： public class TestLocal { public st...

Flink提交模式

Matthew93的博客

06-17

290

flink提交模式

大数据培训：Flink的提交模式

weixin_45695430的博客

02-28

1227

前言这篇文章应先以了解flink组件为开始，再以简单模式Local 和 Standlone 正式进入正题。本篇主要是以Yarn 方式下三种模式展开细讲，当然还有Kubernetes方式（本篇不细说）。组件在了解提交模式之前，先了解一下Flink组件与组件之间的协作关系。资源管理器（Resource Manager) （1）主要负责管理任务管理器TaskManager的插槽slot。（2）当作业管理器JM申请插槽资源时， RM会将有空闲插槽的TM分配给JM。如果 RM没有.

Flink CEP深入解析：全面掌握流式处理与模式匹配

本书通过与流式处理的对比、阐述Flink CEP的原理、详细解释API使用方法，并深入讲解了Flink CEP的各种模式、跳过策略、模式匹配以及水位线（Watermarks）的概念和作用。此外，书籍还提供了丰富的代码示例和详尽的...

Flink入门到精通：从基础到实战全解析

对于EventTime Watermark，课程强调了它在处理数据延迟和数据丢失问题中的重要性，并通过实例演示了watermark如何配合side output确保数据完整性。整个教程不仅注重理论知识，还结合实际案例和实战项目，帮助学员...

Flink 物理分区全解析：策略、应用与实战

天冬忘忧的博客

11-28

1161

在大数据处理领域，Apache Flink 凭借其强大的流处理和批处理能力备受青睐。而物理分区作为 Flink 数据处理流程中至关重要的一环，能够让用户根据实际需求灵活调配数据流向，优化数据分布，提升处理效率与性能。本文将深入探讨 Flink 的物理分区策略，包括各类内置分区器的原理、用法，以及如何自定义分区规则，并结合实战代码帮助读者更好地理解与运用。

flink-samples:Flink样本

04-29

"Flink 样本" 涵盖了多种使用场景，通过实例化代码来展示 Flink 的核心功能和用法。 **描述分析：** 描述中提到，"此仓库包含 Flink 流处理的一些有用示例"，这意味着这个项目是一个 GitHub 仓库，里面包含了多个...

flink的常见的任务提交方式

zhizhi120的博客

01-26

2815

flink执行任务的三种方式，flinksql、flinkjar和flink Rest API

flink 三种提交模式

yicomiss的博客

01-29

367

flink三种提交方式

FLINK作业提交方式

最新发布

ada2014的博客

02-07

262

作业执行完毕后，Flink on yarn集群会被关闭。首先启动Flink Yarn Session，它是一个常驻与Yarn的Flink集群。在Yarn创建一个Flink集群，然后在提交任务客户端所在机器本地运行作业jar的main方法，提交生成的JobGraph到Flink集群的JobManager。每个作业都使用单独的Flink集群，它们消耗的资源是互相隔离的，一个作业的崩溃不会影响到其他作业。Flink作业提交的方式分为application模式，per-job模式和session模式。

flink on yarn两种提交模式

学亮编程手记

07-05

1031

在yarn上运行一个任务，必须要启动HDFS！！！ Flink On Yarn的两种提交模式

Flink提交任务

别人笑我太疯癫，我笑他人看不穿。

11-03

5534

Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。

Flink多种模式任务提交

05-20

1955

目录界面方式命令方式测试代码如下： package wordcount import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ /** * Created by leboop on 2020/5/19. */ object StreamWordCount { def main(args: Array[String]): Unit = {

Flink三种提交方式

GavinKai

10-30

8133

第一种方式：YARN session 操作步骤说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.

table类型数据提交_flink教程-application模式提交集成hive的flink任务

weixin_39620099的博客

12-01

221

背景方案原因探索添加带有HiveConf的构造方法背景flink在1.11 版本提供了一个新的提交任务模式--Applicaton模式，具体的使用可以参考 [详解flink 1.11中的新部署模式-Application模式]，使用该模式将会在集群的master节点提交任务，减少per job模式客户端和服务器之间的网络传输，减少了客户端的压力，缩短了任务提交的时间。此外对于大数据而言，hive是...

Flink提交流程

mischen520的博客

06-29

157

2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤