Flink On Yarn模式：Yarn-session模式与Pre-Job模式的比较

最新推荐文章于 2023-10-18 16:21:18 发布

程序才子

最新推荐文章于 2023-10-18 16:21:18 发布

阅读量343

点赞数 1

CC 4.0 BY-SA版权

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/TechWhiz/article/details/132291521

大数据专栏收录该内容

182 篇文章 ¥59.90 ¥99.00

订阅专栏

本文详细介绍了Apache Flink在Yarn上的两种部署模式：Yarn-session和Pre-Job。Yarn-session模式适合长期运行的流处理任务，具有高灵活性和资源隔离性；Pre-Job模式适用于独立、短期任务，资源独立且调度粒度细。根据实际需求选择合适模式可最大化Flink性能。

Flink On Yarn模式：Yarn-session模式与Pre-Job模式的比较

引言

Apache Flink是一种功能强大的分布式流处理和批处理框架，它可以在大数据环境中高效处理数据。在使用Flink时，我们可以选择不同的部署模式，其中，Flink On Yarn模式是一种常见的选择。在本文中，我们将重点讨论在Flink On Yarn模式下的两种常见使用模式：Yarn-session模式和Pre-Job模式，并比较它们之间的区别。

一、Yarn-session模式

Yarn-session模式是指在Flink On Yarn模式下，用户可以启动一个长期运行的Flink集群，称为Yarn会话（Yarn Session）。在Yarn-session模式下，Flink作业以独立任务的形式运行在已经启动的Yarn会话中。

使用Yarn-session模式的步骤如下：

启动Yarn会话：

$ ./bin/yarn-session.sh -n <number-of-taskmanagers> -tm <taskmanager-memory

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序才子

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式

qq_32020645的博客

12-28

1632

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。

Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令

热门推荐

ASN_forever的博客

05-19

1万+

提前搭建Hadoop集群环境，可以参考这篇文章。本文章的集群环境：机器 ip 服务 flink1 172.21.89.128 flink2 172.21.89.129 flink3 172.21.89.130 安装配置flink 安装参考这篇文章启动一个yarn session（分配1g的jobmanager和4g的taskmanager） [root@flink1 flink-1.10.0]# ./bin/yar...

Flink on Yarn集群搭建（三）--- Flink集群搭建 Session Cluster模式

qq_35136754的博客

01-10

1665

flink on yarn session cluster 会话模式

3.Flink-On-Yarn开发使用\原理\Session会话模式\Per-Job模式

涂作权的博客

07-06

2213

本文来自：Flink1.12-2021黑马程序员贺岁视频3.Flink-On-Yarn开发使用 3.1.原理 3.2.两种模式 3.2.1.Session会话模式 3.2.2.Per-Job模式 3.3.操作 3.4.测试 3.4.1.Session会话模式 3.4.2.PerJob模式为什么使用flink on yarn ? 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：具体步骤：准备Flink程序jar和配置 0：提交 1：上传任务/依赖jar,配置到hdf

Flink On Yarn模式：Yarn-session模式与Pre-Job模式的区别

VavzNvml的博客

09-17

186

Pre-Job模式是一种批处理模式，它允许在提交作业之前预先在Yarn上启动Flink集群，并在作业执行完成后关闭集群。在Pre-Job模式下，首先需要编写一个包含作业逻辑的Flink程序，并将其打包成一个可以在Yarn上运行的Jar文件。在Yarn上运行Flink时，可以选择两种不同的使用模式：Yarn-session模式和Pre-Job模式。Yarn-session模式是一种交互式的模式，它提供了一个长时间运行的Flink集群，可以通过命令行或Web界面提交作业和管理集群。

Flink源码解析：yarn-per-job模式解析、yarn提交过程解析、大数据

2301_79366435的博客

09-02

503

同时，通过对yarn提交过程的详细解析，我们能够掌握作业的提交和执行流程，从而更好地使用Flink进行大数据处理。TaskManager会从ResourceManager获取分配给它的资源，并根据Flink应用程序的配置文件初始化，然后开始执行作业的任务。在提交作业之前，需要准备作业的相关资源，其中包括作业的可执行Jar包、配置文件等。（2）ApplicationMaster：在一个容器中启动的YARN应用程序的主进程，负责与ResourceManager协调资源、处理作业的启动和监控等工作。

Flink Yarn Per Job - Yarn应用

hyunbar的博客

08-01

1271

决定后面什么类型的执行器提交任务yarn-session、yarn-per-job。是否指定为per-job模式，即指定”-myarn-cluster”;是否存在flink在yarn的appID，即yarn-session模式是否启动。executor的名字为“yarn-session”或“yarn-per-job”Generic、Yarn、Default三种命令行客户端。依次是Generic、Yarn、Default。匹配一个“-”的参数或者两个“–”的参数。...

通过Flink YARN Session来运行任务

zg_hover的专栏

10-11

5135

通过Flink YARN Session来运行任务本文先介绍Flink YARN Session的基本概念，并介绍如何启动Flink Session，并通过它来运行任务。简介 Apache Hadoop YARN是一个集群资源管理框架。可以在它之上运行各种分布式应用。在其他应用运行时，Flink也可以运行在其上。在Flink YARN Session启动时会按配置或参数来申请资源，并会启动Flink的基础服务：JobManager和TaskManagers。这样，就可以向它提交Flink应用了；每个s

使用Yarn Session命令管理大数据作业

2301_79366177的博客

08-16

410

通过Yarn Session，我们可以轻松地启动、停止和管理大数据作业，提高数据处理的效率和可靠性。Yarn Session是一个用于管理大数据作业的命令，它为我们提供了一种便捷的方式来提交和监控运行在YARN集群上的应用程序。通过Yarn Session命令，我们可以轻松地启动、停止和管理我们的大数据作业，提高数据处理的效率和可靠性。通过使用Yarn Session命令，我们可以方便地管理大数据作业，并实现高效的数据处理。上述命令将停止名为“my_session”的会话，并关闭所有与之关联的应用程序。

Flink:Yarn-Session 启动

u012566690的专栏

08-29

3066

背景：自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程 ##1. 参照文档，下载&&编译flink 源码,这个时候，s

1.flink的yarn-session环境

流月up的博客

10-18

702

在hadoop环境安装好之后,需要一个yarn-session环境来跑flink任务,此篇任务是在hadoop yarn环境上部署一个flink yarn-session环境,flink 1.17.1版本相关文章聚合链接。

Flink-yarn-session集群提交模式

逆流而上Mr李

08-24

1215

flink on yarn模式

fct2001140269的博客

12-29

763

在flink on yarn模式中，flink yarn-session的两种提交方式两种提交方式 1.yarn-session为flink app开辟公用资源在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互...

大数据flink篇之三-flink运行环境安装后续一yarn-session安装

a18852867035的博客

10-14

1264

具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。

flink on yarn

zhangkai0575的博客

12-19

720

在flink on yarn模式中 flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方...

Flink On Yarn模式：两种使用模式Yarn-session模式和Pre-Job模式的区别

zhengzaifeidelushang的博客

06-30

2342

Flink on Yarn模式在使用的时候可以分为两种： Flink Yarn-session模式：在YARN中提前初始化一个Flink集群，开辟指定的资源，以后Flink任务都提交到这来。这个Flink集群会常驻在YARN集群中，除非手工停止。这种方式创建的Flink集群会独占资源，不管有没有Flink任务在执行，YARN上面的任务都无法使用这些资源。 Flink Per-Job模式：每次提交Flink任务都会创建一个新的Flink集群，每个Flink任务之间相互独立、互不影响，管理方便。任务执行完成.

Flink-On-Yarn

大数据跟我学i

05-07

327

文章目录为什么使用Flink On YarnFlink On Yarn提交任务执行流程Flink On Yarn的两种模式Session模式Per-Job(Job分离模式)Flink On Yarn环境设置准备环境测试为什么使用Flink On Yarn Yarn的资源可以按需使用,提高集群的资源利用率 Yarn的任务有优先级,根据优先级运行作业基于Yarn的调度系统,能自动化处理每个角色的Failover(容错) JobManager进程和TaskManager进程都由Yarn NodeMana

60-008-022-使用-命令-yarn-session命令

九师兄

03-12

1813

1.视界 2. Flink On Yarn 2.1 概述在yarn上启动一个一直运行的flink集群 2.1 两种模式第一种：在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。第二种(推荐)：每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消...

解决Flink运行YARN报错：添加jersey-core和jersey-client

Flink作为一个分布式处理系统，能够运行在各种环境中，包括YARN（Yet Another Resource Negotiator）上，后者是Hadoop的一个资源管理模块，负责集群资源的分配与任务调度。当我们尝试在YARN上部署Flink时，可能会...