flink任务部署的方式

原创 已于 2024-08-14 14:16:57 修改 · 818 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #java #大数据

于 2022-08-10 15:07:55 首次发布

 运行底座

flink 不能独立运行（测试环境除外），需要借助flink运行底座，flink底座的运行模式有三种

  • standalone运行底座

一般是测试使用

  • k8s运行底座

逐渐开始流行，见另外一篇文章。

Flink on Kubernetes (flink-operator) 部署Flink_flink kubernetes operator 部署-优快云博客

  • yarn运行底座

flink on yarn，是现在较多使用的方式。本质上就是去yarn集群上申请容器，来运行flink的 jobmanager＋taskmanager 集群

flink的job，是flink集群内部的概念，它对yarn是不可见的

有了运行模式后，flink就可以在运行底座上进行任务提交了，又有三种提交模式

下方介绍的提交方式是基于yarn的运行底座的

提交方式（基于yarn的）

yarn-session(会话模式)

基于yarn上的session模式，进行提交flinkjob的方式，相当于yarn上的运行的standalone s

最低0.47元/天 解锁文章
Flink程序部署与提交
SunnyRivers
08-16 659
我们看门见山，生产环境一般用的是在YARN上面采用应用模式进行部署flink程序。实际生产中一般需要和资源管理平台（如YARN）结合起来，选择特定的模式来分配资源、部署应用。
flink任务yarn模式部署
机器之心
09-11 233
为了提供更好的资源隔离保证，单个作业模式使用可用的资源提供程序框架（例如YARN）为每个提交的作业启动一个独立的集群。yarn的高可用是启动一个JobManager，当这个Manager挂了之后，会利用yarn的重试次数来再次启动，yarn的重试机制是 JobManager的重启次数上限.每个应用程序创建一个集群可以被视为创建一个仅在特定应用程序的作业之间共享的会话集群，并在应用程序完成时关闭。允许提交包含多个作业的应用程序。作业执行的顺序不受部署模式的影响，而是受用于启动作业的调用的影响。
flink部署模式（二）- yarn三种部署模式
weixin_38251332的博客
06-20 1628
基于flink1.15.0开启flink yarn-session集群 提交任务进入客户端交互界面强制杀掉任务NOTE： 启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager启动perjob集群 查看集群上运行的job ./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1652928425471_0252 取消某个job**NOTE：**在per
【Flink】详解Flink任务提交流程
pcx171的博客
07-18 1932
本文主要介绍Flink的任务提交流程，从源码入手分析Flink如何解析命令行、提取验证有效参数、环境配置参数、程序和用户指定参数如何打包、依赖路径如何获取、客户端模式如何确定以及最后程序的主入口是哪一个
【FLink-16-Flink程序分布式部署运行】
weixin_38136584的博客
01-30 897
FLink-16-Flink程序分布式部署运行
Flink本地模式简易安装和运行
Blossom
03-14 6895
环境要求 如果是编译安装需要maven，这里是直接使用编译好的二进制文件进行解压安装，因此只需要jdk1.8即可。 jdk1.8 maven 下载安装 1. 从下载地址：https://flink.apache.org/downloads.html，下载相应版本的Flink安装文件进行解压。Flink版本中包含了匹配的hadoop的版本和scala的版本，为以后的YARN模式的安装做准备（...
flink yarn模式3种提交任务方式
core815的专栏
12-10 2385
Yarn模式3种提交任务方式
详解 Flink 的常见部署方式
weixin_44480009的博客
06-06 3392
Yarn 模式是指客户端把 Flink 应用提交给 Yarn 的 ResourceManager, Yarn 的 ResourceManager 会在 Yarn 的 NodeManager 上创建容器。YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 本质是利用的 YARN 的重试次数来实现的高可用。将编码好的 Flink maven 工程打成 jar 包，并将 jar 包上传到 flink 安装目录下的 lib 目录。
Flink部署与应用——部署方式介绍
从知识输入到知识输出
04-25 1297
Flink部署与应用——部署
flink yarn-perjob任务提交流程
m0_46449152的博客
02-10 2339
1、由脚本bin/flink 进入org.apache.flink.client.cli.CliFrontend CliFrontend main -> cli.parseAndRun -> run -> executeProgram -> ClientUtils.executeProgram -> program.invokeInteractiveModeForExecution() -> callMainMethod -> mainMethod.invoke
Flink源码分析(1)Flink Per-Job启动流程分析
道可道非常道
03-09 651
通过深入源码，你将更好地理解Flink的执行模型、任务调度策略和容错机制。此外，学习Flink提交流程的源码还有助于扩展Flink，定制化特定功能，以满足个性化需求。根据shell脚本内容可知，紧接着调用了org.apache.flink.client.cli.CliFrontend.main执行flink任务，同时将shell参数原样传递给Flink程序;这里主要通过反射方式调用执行用户代码程序，这个方法调用成功后就进入到了我们自己编写程序的main方法，即WordCount.main()方法。
Flink流批一体计算（8）：Flink常见Shell命令
victory0508的专栏
06-28 2036
Flink提供了一个命令行界面（CLI）bin/Flink，用于运行打包为JAR文件的程序并控制其执行。CLI是任何Flink设置的一部分，可在本地单节点设置和分布式设置中使用。它连接到conf/flink-conf.yaml中指定的正在运行的JobManager。操作用途使用启动一个常驻的Flink集群，接受来自客户端提交的任务。run提交Flink作业，作业既可以被提交到一个常驻的Flink集群上，也可以使用单机模式运行。以模式执行作业。info用于打印作业的优化执行图。
【Flink源码分析】Flink 命令启动全流程
weixin_41105709的博客
05-25 1526
一、启动脚本分析 1、 WordCount启动命令 bin/flink run examples/streaming/SocketWindowWordCount.jar --hostname localhost --port 9000 2、bin/flink 脚本分析 从上图中我圈的红色部分可以看出，最终调用的是“org.apache.flink.client.cli.CliFrontend”这个类。 二、CliFrontend启动类分析 1、main方法 从下面的代码可以看出，main方法中首先
Flink 学习九 Flink 程序分布式运行部署
weixin_44244088的博客
06-20 1448
flink 集群运行介绍,集群部署
Flink的Yarn-Per-Job提交指令
热门推荐
mp9105的博客
05-18 1万+
Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务 主要描述该部分的提交流程 1.提交任务 提交任务主要是通过./bin/flink run -t yarn-per-job完成 常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -
[1131]Flink(1.13)命令行提交Job
周小董
04-23 4121
文章目录Per-Job-Cluster新老版本启动方法Session-ClusterPer-Job-Cluster 与 Session-Cluster 区别ApplicationPer-Job-Cluster 与 Application 区别高可用配置Yarn 高可用和Standalone 高可用区别查看flink提交任务 Flink提供了yarn上运行的3模式，分别为Application Mode, Session-Cluster和Per-Job-Cluster模式。 Yarn 模式会动态申请资源
【Flink 调优】【第一章】【资源配置调优】
weixin_43589563的博客
02-15 2960
资源配置调优1. 内存设置1.1 TaskManager内存模型1.2 生产资源配置2. CPU资源的合理使用2.1 使用DefaultResourceCalculator策略2.2 使用DominantResourceCalculator策略2.3 使用DominantResourceCalculator策略并指定core个数总结3. 并行度设置3.1 全局并行度计算案例3.2 Source端并行度配置3.3 Transform端并行度配置3.4 Sink端并行度配置 1. 内存设置 1.1 Tas
flink启动命令分析
杜海的博客
10-14 3645
flink启动命令分析 1. flink启动命令的固定格式 ./flink <ACTION> [OPTIONS] [ARGUMENTS] 2 <ACTION>种类 run 编译和运行一个程序。 run-application 在应用模式下运行一个应用程序 info 显示程序的优化执行计划（JSON）。 list 列出正在运行的和计划中的程序。 stop 用一个保存点停止一个正在运行的程序（只限于流式工作）。 cancel 取消一个正在运行的程序 savepoi
Flink内核源码（一）任务提交流程
小朱小朱绝不认输的博客
07-12 2803
Flink内核源码学习，对于Yarn-per-job模式的任务提交过程，通过源码深入了解执行过程。
flink 提交任务 三种方式
最新发布
09-03
Flink提交任务存在三种部署模式，分别为Session模式、Per - Job模式和Application模式，它们的特点如下： - Session模式：先有Flink集群，之后再提交任务，任务在客户端提交运行，提交的多个作业共享Flink集群[^1]。 - Per - Job模式：提交Flink任务后创建集群，通过客户端提交Flink任务，每个Flink任务对应一个Flink集群，每个任务有很好的资源隔离性[^1]。 - Application模式：提交Flink任务后创建集群，在JobManager上执行main方法，为每个Flink的Application创建一个Flink集群，若该Application有多个任务，这些Flink任务共享一个集群。在生产环境中，优先选择此模式[^1]。 此外，Flink提交任务还有不同的环境模式，如standalone模式、yarn模式等，以及不同的提交途径，如Web界面任务提交等： - standalone模式：提交类似在local机器上提交，但可以不用指定master节点，提交是在flink集群的机器节点上。示例命令如下： ```bash # 前台提交 ./flink run -p 1 -c com.test.TestLocal /home/hdp/flink-local.jar # 通过-d后台提交 ./flink run -p 1 -c com.test.TestLocal -d /home/hdp/flink-local.jar ``` [^2] - yarn模式：必须确保本机配置了HADOOP_HOME环境变量，flink会尝试通过HADOOP_HOME/etc/hadoop目录下的配置文件连接yarn。示例命令如下： ```bash flink run -Dparallelism.default=1 -Denv.java.opts=" -Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" -Dtaskmanager.memory.process.size=1g -Dyarn.application.name="FlinkCdcMysql" -Dtaskmanager.numberOfTaskSlots=1 -c com.zl.MysqlExampleDatastream /home/FlickCDC-1.0-SNAPSHOT-jar-with-dependencies.jar ``` [^2][^3] - Web界面任务提交：通过 Submit New Job 来提交任务，可使用Flink安装包中examples目录下streaming文件夹里的SocketWindowWordCount.jar来演示提交任务[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值