Flink中的Wartermark

最新推荐文章于 2025-02-10 17:48:57 发布
最新推荐文章于 2025-02-10 17:48:57 发布
阅读量932 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink 大数据 big data Wartermark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/litlit023/article/details/122379215
Apache Flink的Watermark机制用于处理乱序事件，它是一种时间戳策略，常与窗口操作配合。本文讨论了Watermark的两种生成方式，多流中空闲流的处理，以及两个关键问题：超出延迟范围的数据处理和Watermark的容错。Flink通过AllowedLateness和OutputTag来管理迟到数据，并探讨了在程序重启后Watermark的恢复策略。

目录

1. Wartermark是什么

2. 两个常见的问题

3. 参考资料

1. Wartermark是什么

Watermark 是 Apache Flink 提出的一种用来解决乱序、延迟数据等情况的解决
方案，通常和窗口结合使用。本质上来说 Watermark 就是 单调递增的时间戳，来控制等待延迟数据的最大时长。

由周期性生成和标记生成两种方法。

单流wartermark

多流wartermark：多流会出现空闲流的问题。空闲流的问题，用户可以设置一个超时时间，当某个流超过指定时间，没有新数据的话，flink就会放弃原来的全局wm，重新生成一个新的wm。

2. 两个常见的问题

下面的两个问题值得思考：
1.对于超出延迟范围

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink Watermark机制
chanyue123的博客
06-23 2209
flink watermark详解
[白话解析] Flink的Watermark机制
微赚淘客开发者博客
02-09 778
[白话解析] Flink的Watermark机制 0x00 摘要 对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。 0x01 问题 关于Watermark，很容易产生几个问题 Flink 流处理应用中，常见的处理需求/应对方案是什么? Watermark究竟应该翻译成水印还是水位线？ Wa...
5 Flink的时间和窗口操作
最新发布
qq_21451945的博客
02-10 1400
Flink中窗口划分的时候是以时间作为划分标志，在Flink中对于时间有三种不同的语义，分别如下事件产生时间，也就是数据本身带的时间事件摄入时间，是指数据到达Flink程序时当前的系统时间也就是被source模块处理的时间事件处理时间，是指数据被对应算子处理的当前系统时间，这里一般是配合窗口使用，所有是指数据被窗口函数处理时的当时系统时间注意：在Flink1.12版本之后默认的是event-time，之前是process-time。
flink----12 wartermark 案例，接上一节
m0_37139189的博客
06-20 717
上一节的案例我们得到了触发window的条件 watermark+window 处理乱序数据 我们上面的测试，数据都是按照时间顺序递增的，现在，我们输入一些乱序的(late)数据， 看看 watermark 结合 window 机制，是如何处理乱序的。 nc -l 9000 0001,1538359882000 0001，1538359886000 0001，153835989200...
Flink中WarterMark的基本思考
weixin_41843527的博客
03-09 456
5到10 的窗口计算的结果为： 5 + 6 + 6 + 7 + 8 + 10 = 32 ，其中4 被遗弃了，不参与count的计算。那么 0到5的窗口计算的结果为：0 + 1 + 2 + 3 + 3 + 4 = 13。10 到 15 窗口计算的结果为： 10 ，其中8 和 9 是乱序数据因此就被遗弃了。
Flink中时间语义与Wartermark
serendipity
10-11 545
1 Flink中的时间语义 在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳 Ingestion Time：是数据进入 Flink 的时间 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关 默认的时间属性就是Processing Time 对于业务来说，要统计1min内的故障日志个数
flink 时间语义与 Wartermark
song_quan_的博客
11-08 239
1 Flink 中的时间语义 在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的 日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事 件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器 相关，默认的时间属性就是 Processi.
Flink之时间语义与Wartermark实例详解
mo
01-04 763
目录1:时间语义的引出1.1时间语义的定义1.2三种时间语义的优缺点:1.3关于EventTime的引入:2:Wartermark2.1非理想情况下所引出的Wartermark：2.2Wartermark概述：2.3Wartermark的特点2.4图解Wartermark 1:时间语义的引出 在说时间语义时我们引出一个小案例,在平时日常生活中，我们在上下班做地铁的途中为了消磨时间难免会玩会游戏，假设某个游戏设定在一分钟之内可以通过几关就奖励几关的积分,张三在游戏开始的前45秒已经通了3关,然而在45秒以后地
Flink WaterMark 详解
freeRoad
02-23 1571
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。3.2 水位线分配器。
Flink的 warterMark 理解
xz370057448的博客
04-24 1030
Watermark基本概念 我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的，虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、分布式等原因，导致乱序的产生，所谓乱序，就是指Flink接收到的事件的先后顺序不是严格按照事件的Event Time顺序排列的。 那么此...
Flink基础04-Flink中的时间语义和watermark
渐宽阁读书小弟
03-06 622
目录： Flink中的时间语义 设置Event Time 水位线(Watermark) watermark的传递、引入和设定 Flink中的时间语义 Event Time : 事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器有关 Event Time 可以从日志数据的时间戳(timestamp)中提取 设置...
Flink Event-Time with WarterMark
weixin_44651989的博客
08-11 252
Flink Event-Time with WarterMark本篇帖子简介1.8.21.10.0PeriodicPunctuated 本篇帖子简介 举一个小例子，比如用Flink做kafka的wordcount，使用的时间类型为Event-Time时间类型，那么我们如何指定数据流的时间进度是依赖于每条数据中的哪个部分的呢。 目前我知道的有三种，会用的只有两种，分别来自于下面两个版本。1.12的版本中对于时间时间的指定貌似更为方便，使用的是DDL。 本贴着重介绍1.10.0部分 1.8.2 一种是像下面这一
6、Flink的时间语义和Wartermark
yunweijie_cn的博客
03-11 3134
Flink的时间语义和Wartermark一、Flink中的时间语义1.三种时间语义1.1 Event Time1.2Ingestion Time1.3Processing Time1.4总结2.EventTime 的引入二、Watermark1.产生原因2.Watermark的理解2.1有序流的Watermarker2.2乱序流的Watermarker2.3总结3.Watermark的传递4.Watermark的引入4.1 乱序数据Watermark的引入4.2 有序数据Watermark的引入5.详解A
Flink的Watermark机制
07-23 460
原博客地址：https://www.cnblogs.com/rossiXYZ/p/12286407.html 摘要 对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。 01问题 关于Watermark，很容易产生几个问题 Flink 流处理应用中，常见的处理需求/应对方案是什么? Watermark究竟应该翻译成水印还是水位线？ Watermark本质是什么? Watermark是如何解决问题? 下面我们就来简要解答
flink1.10.1--java 版--尚硅谷-第六章 Flink Window+wartermark+状态+容错
紫蝶侠的博客
05-12 319
第六章 Flink 中的 Window 6.1 Window 6.1.1 Window 概述 桶的概念，不是批处理 6.1.2 Window 类型 时间窗口的设置是左闭右开[ ），及包含开时间进入窗口的数据不包含结束时间进入窗口的数据 1. 滚动窗口（Tumbling Windows） 2. 滑动窗口（Sliding Windows） 3. 会话窗口（Session Windows） 6.2 Window API 6.2.1 TimeWindow DataStream&l
Flink时间语义与Watermark
qq_36250202的博客
10-22 356
一、Flink时间语义 在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据 中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事 件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的...
Flink时间语义与 Wartermark
weixin_48149210的博客
09-23 199
EventTime： 是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。例如：点击网站上的某个链接的时间 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) IngestionTime： 某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据 env.setStreamTimeCha
Flink 应用
java 帝国
07-06 762
Apache Flink 是一个支持有状态的计算的框架，它可以用来处理有边界的数据流和无边界的数据流。Flink 提供了多种不同抽象级别的API，并且提供对于常见的用例提供专用的函数库。   一、为流式应用构建好的模块 可以构建的并且被流式处理框架执行的应用类型是由框架是怎么来控制流、状态和事件来决定的。下面，我们将描述这些流式处理应用的构建块（building blocks），并且解释...
flink watermark 生成机制与总结
Direction_Wind的博客
02-20 2291
watermark 介绍watermark生成方式watermark 的生成值算法策略watermark策略设置代码watermark源码分析watermark源码调用流程debug（重要）测试思路迟到时间处理FlinkSql 中的watermark引出问题与源码分析。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值