Flink的job提交全流程及web ui提交任务方式

本文详细介绍了Apache Flink的作业提交流程,从用户代码生成StreamGraph,经优化形成JobGraph,再到JobManager处理生成ExecutionGraph。同时,讲解了如何开启Web界面提交Flink作业,并提供了配置方法和Web界面访问地址,便于用户通过Web界面监控Job状态。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景

其实本来觉得这篇文章不需要写的,但是在网上搜了一下,有的提交的时候参数写的不全,还有的居然是收费文章!!那我就分享下个人使用经验吧~

flink的job提交流程

flink调用env.execute会有四个图:
StreamGraph、JobGraph、 ExecutionGraph、物理执行图
Flink 根据用户提交的代码生成 StreamGraph,经过优化生成 JobGraph,然后提交给 JobManager 进行处理,JobManager 会根据 JobGraph 生成 ExecutionGraph,ExecutionGraph 是 Flink 调度最核心的数据结构,JobManager 根据 ExecutionGraph 对 Job 进行调度。
在这里插入图片描述
在这里插入图片描述

web提交

开启支持web界面提交

vi flink-conf.yaml

web.submit.enable: true

打开web界面

http://ip:8081/#/overview
注意传入的参数在虚拟机上面的路径是 flink的bin目录下的etc,需要把文件传入对应目录,然后提交
在这里插入图片描述

随后左边的就可以看见tm和jm的状态了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值