
flink
文章平均质量分 60
ak3k
这个作者很懒,什么都没留下…
展开
-
flink基于savepoint点的重启脚本
flink版本:1.12.4#!/bin/bashjob_name=start_log=stop_log=savepointpath=#如果之前已经启动,从start_log里面拿到jobid#根据job_name从yarn拿到application id#根据jobid和application id停止任务,注意缺少application id可能停止不了任务#start_log应该可以拿到jobid和application id,要看日志打印全不全#hdfs://emr-c.原创 2021-06-29 21:50:00 · 1051 阅读 · 1 评论 -
关于flink kafkaconsumer的偏移量存储位置测试
偏移量存储位置:1、如果设置了状态后端和checkpoint机制,同时有下面设置: FlinkKafkaConsumer.setCommitOffsetsOnCheckpoints(true) (上面代码表示每次checkpoint的时候把组消费偏移量提交到kafka,默认为true) 那么组消费偏移量会记录到 状态后端 和 kafka2、如果设置了状态后端和checkpoint机制,同时有下面设置: FlinkKafkaConsumer.set...原创 2021-06-26 15:48:53 · 1979 阅读 · 0 评论 -
关于flink watermark水位线的理解
本文章基于以下两个视频的一点理解:https://www.bilibili.com/video/BV1qy4y1q728?p=51https://www.bilibili.com/video/BV1qy4y1q728?p=52假设以event-time作为时间,延迟2秒,窗口大小是5秒。注意:flink可以同时存在两个窗口的数据在等待计算。理解一:1、时间戳1的数据到来,时间范围在[0,5)内,数据进入桶[0,5)2、时间戳4的数据到来,时间范围在[0,5)内,数据进入桶[0,原创 2021-06-23 21:34:18 · 375 阅读 · 0 评论