实践数据湖iceberg 第二十九课 如何优雅高效获取flink的jobId

原创 已于 2022-04-28 14:50:18 修改 · 3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

于 2022-04-15 16:50:18 首次发布
本文介绍了在提交Flink作业后，如何优雅地获取JobId。避免了依赖日志解析的低效方式，提供了直接从执行异步方法获取JobClient，以及通过TableResult获取JobClient的两种高效方案，并解释了相关源码实现。

系列文章目录

实践数据湖iceberg 第一课 入门
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
实践数据湖iceberg 第五课 hive catalog特点
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决
实践数据湖iceberg 第七课 实时写入到iceberg
实践数据湖iceberg 第八课 hive与iceberg集成
实践数据湖iceberg 第九课 合并小文件
实践数据湖iceberg 第十课 快照删除
实践数据湖iceberg 第十一课 测试分区表完整流程(造数、建表、合并、删快照)
实践数据湖iceberg 第十二课 catalog是什么
实践数据湖iceberg 第十三课 metadata比数据文件大很多倍的问题
实践数据湖iceberg 第十四课 元数据合并(解决元数据随时间增加而元数据膨胀的问题)
实践数据湖iceberg 第十五课 spark安装与集成iceberg(jersey包冲突)
实践数据湖iceberg 第十六课 通过spark3打开iceberg的认知之门
实践数据湖iceberg 第十七课 hadoop2.7,spark3 on yarn运行iceberg配置
实践数据湖iceberg 第十八课 多种客户端与iceberg交互启动命令(常用命令)
实践数据湖iceberg 第十九课 flink count iceberg，无结果问题

最低0.47元/天 解锁文章
Apache Iceberg 深度解析：构建企业级数据湖的最佳实践
Python编程之道的博客
10-11 585
在数字经济时代，数据已成为企业最核心的战略资产之一。为了充分挖掘数据价值，企业纷纷构建数据湖，期望将海量、多源、异构的数据汇聚一处，进行统一存储和分析。数据可靠性差：缺乏强事务保证，容易出现数据不一致、部分写入或脏数据。元数据管理混乱：依赖于Hive Metastore的简单元数据模型，难以支持复杂的表结构演化和细粒度的数据组织。查询性能低下：基于目录的分区方式导致文件扫描范围过大，谓词下推能力有限。数据治理困难：缺乏有效的版本控制、行级权限和数据血缘追踪能力。Schema演化痛苦。
Flink CDC和FlinkX与数据湖
JustinMars的博客
02-22 2563
数据传输工具FlinkX和Flink CDC是目前最主流的工具，其中,Flink CDC 2.0更加友好地支持数据湖
Flink任务监控（基于API接口编写shell脚本）
qq_36470898的博客
04-29 4979
Flink部署模式主要分为Flink StandAlone 模式，flink-on-yarn 模式。 Flink StandAlone 模式 主要是通过调用
flink java提交任务，根据jobname获取jobid，rest获取任务的状态
热门推荐
不是一枚开发
08-03 8万+
1.传入jobname: public class ReduceDemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStreamSource<String> words = env.socketT
flink 提交任务时获取jobid
最新发布
qq_30517167的博客
06-14 590
【代码】flink 提交任务时获取jobid。
flink 怎么根据 jobName获取 jobId
初楚凌的专栏
01-28 6960
本文为原创，转载请注明出处！ 这是一个看起来很简单的事，但是在网上查了好久都没有答案。觉得好奇怪。这个看似简单的问题，官方竟然没有对应的方法？ 兜兜转转，后来转念想，没有直接的方法的话，那我可以获取到所有的job信息吗？ 这样一查之后，就有结果了。 flink官方提供了一套监控系统的rest API，可以查到job的所有信息。 还是那句话，要好好看官方文档啊！ http://127.0...
flink groupby keyby区别
bitcarmanlee的博客
09-17 1933
spark中我们经常使用groupby算子对数据进行聚合。flink中，不仅有groupby算法，还有keyby算子，那么这两者的区别在哪里？上面是stream版的wordcount操作，对于DataStream数据，使用的则是keyby算子。上面可以认为是batch版的wordcount操作，对于DataSet使用的就是groupBy操作。groupby是用在DataSet系列API中，Table/SQL等操作也是使用groupby。keyby是用在DataStream系列API中。
实践数据湖iceberg 第二十五课 后台运行flink sql 增删改的效果
spark_dev的博客
04-01 2483
系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceber
实践数据湖iceberg 第二十三课 flink-sql从checkpoint重启
spark_dev的博客
02-23 4780
成功测试flink-sql以非jar包的方式从checkpoint重启，完成故障恢复测试 实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
Iceberg源码学习：flink checkpoint流程分析一
yiweiyi329的博客
01-04 935
目录开始构建checkpointJobmanager启动checkpoint调度SourceStreamTask的Checkpoint执行Task上报checkpoint信息JobManager通知Task进行commit 开始 checkpoint流程入口： # Dispatcher.runJob(JobGraph jobGraph) private CompletableFuture<Void> runJob(JobGraph jobGraph) { Preconditions.chec
flink指定jobid
路过君的博客
05-31 2695
版本 flink 1.14.4 方法 Configuration configuration = new Configuration(); configuration.setString(PipelineOptionsInternal.PIPELINE_FIXED_JOB_ID, "xxx"); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(configuration); 源码分析 o
java版flink应用启动获取自身的applicationId
lnkToKing的博客
11-02 2286
直接上代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.getJobListeners().add(new JobListener() { /** * 监听flink应用提交成功事件 */ @Override public void onJobSubmitted(JobClient jobClient, Throwable throwable) { /
Flink 单并行度内使用多线程来提高任务的整体性能
qq_34412579的博客
11-18 4372
分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api，即：每 50 条数据请求一次第三方接口，可以通过批量 api 来提高请求效率。由于调用的外网接口，所以每次调用 api 比较耗时。假如批次大小为 50，且请求接口的平均响应时间为 50ms，使用同步 a...
Hadoop源码解析之如何获取JobId
liushahe2012的博客
01-23 1955
前一篇文章讲到客户端作业的提交流程，其中有调用到JobSubmitter类的submitJobInternal函数，里面有获取JobId的地方。 部分源码如下： JobStatus submitJobInternal(Job job, Cluster cluster) throws ClassNotFoundException, InterruptedException, IOExcep
【FlinkX】两个issue分析:reader和writer的通道数不一致+获取JobId
一只皮皮熊
03-19 746
文章目录issue详情reader和writer的通道数不一致获取JobId代码分析#issue145配置说明源码分析:#issue148 最近准备再花点时间优化一下之前的FlinkX版本，特地去看了一下项目的issues区域，发现两个自己比较关注的issue。 issue详情 reader和writer的通道数不一致 异构数据源reader和writer设置不同的Parallelism数#...
Flink Savepoint 工作机制
SmartSi
08-26 706
Savepoint 是 Checkpoint 的一种特殊实现，底层其实也是使用 Checkpoint 的机制。Savepoint 是用户以手工命令的方式触发 Checkpoint，并将结果持久化到指定的存储路径中，其主要目的是帮助用户在升级和维护集群过程中保存系统中的状态数据，避免因为停机维护或者升级应用等正常终止应用的操作导致系统无法恢复到原有的计算状态的情况，从而无法实现端到端的 Exactly-Once 语义保证。Savepoint 与 Checkpoint 的具体区别，可以参阅。...
Flink常用操作命令
杜海的博客
10-12 4565
1.基于Yarn模式提交任务 使用平台jar包测试： ./bin/flink run -m yarn-cluster -p 2 ./examples/batch/WordCount.jar \ --input hdfs:///user/wupq/words.txt \ --output hdfs:///user/wupq/output2/2020122301 提交自己编写代码： ./bin/flink run -m yarn-cluster
Android JobService和JobScheduler 原理剖析
私房菜
09-03 4063
请支持原创~~ 版本基于：Android R 前言 最近在研究Iorap 的时候碰到了JobScheduler，这套机制是在Android L中就提出来的，而之前没有使用到也就不知其存在。简单过滤了下framework 的代码，发现虽然是一个小模块，却是五脏俱全、环环相扣。由于时间原因，本文主要结合实际情形简单分析JobScheduler 的实现过程。 框架图 本图来源：https://blog.youkuaiyun.com/allisonchen/article/details/792...
[问题踩坑]Flink 1.11.1 on Yarn Application模式时，JobId始终为00000000000000000000000000000000
白夜的随笔
11-29 3222
使用Yarn Application模式启动Flink任务的命令如下 ./bin/flink run-application -t yarn-application hdfs://hadoop-master:9000/shadow/FlinkSQLTest-1.0-SNAPSHOT.jar 当Flink 任务启动后，发现JobId异常始终为00000000000000000000000000000000，而正常的JobId应该为一个随机的字符串 这是因为Flink的配置文件conf/flink-conf.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值