Flink系列：事件Time时间乱序到达处理方法

最新推荐文章于 2024-10-31 13:24:18 发布
原创 最新推荐文章于 2024-10-31 13:24:18 发布 · 6.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Flink处理Kafka数据到达时间无序问题，通过引入Watermark解决乱序。介绍顺序到达、乱序到达和并发到达三种情况，并详细讲解Watermark的工作原理。推荐基于时间周期生成Watermark，当watermark时间大于等于Event Time时触发窗口计算。举例说明了Watermark如何确定窗口关闭时机，以及如何避免数据丢失。文章还提及了事件时间分类和完整Demo示例。

 

到达时间无序

kafka的数据，不一定按照时间产生的时间到达flink，为了解决这个问题，需要引入Watermark

 

时间到达的3种情况

顺序到达

乱序到达

 

并发到达

 

Watermark

如果指定多个Watermark，后面的将覆盖前面的。

两种方法

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink系列：事件时间乱序到达处理完整Demo例子
NIO4444
07-05 1966
目录 效果 在192.168.40.159客户端输入 idea程序输出 基础 程序 StreamingWindowWatermark XdoctorxMapFunction XdoctorXAssignerWithPeriodicWatermarks XdoctorXWindowFunction 效果 在192.168.40.159客户端输入 idea程序输出 基础 Flink系列：WindowFunction使用方法 Flink系列：自定义Wi...
Flink系列：事件Time时间分类（指定事件时间）
NIO4444
06-30 2737
时间分类 Stream数据中的Time（时间〉有下面3种： • Event Time 事件产生的时间 • Ingestion Time 事件进入Flink的时间 • Processing Time 事件被处理时当前系统的时间 流转图 指定Stream数据中的Time /默认是处理时间为基础，可以修改： env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)...
Flink如何处理乱序数据？
justlpf的专栏
02-22 4457
参考文章：Flink如何处理乱序数据？ 本章主要针对Flink Time中的Event Time、Ingestion Time、Processing Time以及Watermark进行详细讲解。 1 Time Stream数据中的Time（时间）分为以下3种。 Event Time：事件产生的时间，它通常由事件中的时间戳描述。 Ingestion Time：事件进入Flink的时间。 Processing Time：事件被处理时当前系统的时间。 这几种时间的对应关系如图1所示。 图1　
Flink中处理乱序数据的三种方式
weixin_42796403的博客
03-06 2680
Flink中处理乱序数据的三种方式 加水印 Flink中的时间语意WaterMark，以事件时间减去所允许的最大乱序时间作为水印，原理相当于多给了数据一定的时间，然后关闭窗口，触发计算。 允许迟到allowedLateness 原理是在水印的基础上在多给数据一定的可以迟到的时间，当水印到达窗口大小时触发计算，但是不关闭窗口，到达所允许的迟到时间后真正关闭窗口。 侧输出流 当数据迟到的时间非常久，前两种都失效时使用，相当于迟到数据归放入一个分支流中进行单独计算。 此外，侧输出流还可以对数据进行分流
Flink乱序延迟时间处理-Watermark
java_huizhen的博客
04-04 1877
背景 一般我们都是用EventTime事件时间进行处理统计数据 但数据由于网络问题延迟、乱序到达会导致窗口计算数据不准确 需求：比如时间窗是 [12:01:01,12:01:10 ) ，但是有数据延迟到达 当 12:01:10 秒数据到达的时候，不立刻触发窗口计算 而是等一定的时间，等迟到的数据来后再关闭窗口进行计算 生活中的例子 xx公司：每天10点后就是迟到，需要扣工资 老王上班 路途遥远(延迟) 经常...
Flink教程（二）——事件时间
rocketluoqq的博客
12-05 634
开发十年，就只剩下这套架构体系了！ >>> ...
flink 事件时间
大齐的学习笔记
04-23 1271
当流媒体程序在处理时间运行时，所有基于时间的操作（如时间窗口）将使用运行相应操作员的机器的系统时钟。例如，每小时处理时间窗口将包括在系统时钟显示整整一小时的时间和到达特定操作员的所有记录。处理时间是最简单的时间概念，不需要流和机器之间的协调。它提供了最佳的性能和最低的延迟。然而，在分布式和异步环境中，处理时间并不能提供确定性，因为它容易受到记录到达系统的速度（例如来自消息队列）的影响，以及记录在系...
Flink处理乱序的数据的最佳实践
最新发布
大模型大数据攻城狮的专栏
10-31 1191
在Flink处理乱序数据的过程中，自定义Watermark生成策略是一项强大的工具，能够显著提升系统的处理效率和准确性。通过灵活运用这一机制，开发者可以根据具体的数据特征和业务需求，实现更为精细化和高效的乱序数据处理方案。自定义Watermark生成策略的核心思想是通过实现WatermarkGenerator接口，根据数据流中的事件特性动态生成Watermark。这种方法允许开发者充分利用数据本身的特性，设计出最适合特定应用场景的Watermark生成算法。
Flink之数据乱序处理
datacreating的博客
03-14 3539
理想情况下，数据都是严格有序的，但现实中的数据往往都存在乱序的情况。
详细讲清楚Flink中使用EventTime+Watermark解决乱序问题
weixin_43857576的博客
12-24 2478
一般来说，以事件时间为时间语义，如果一个时间流不按事件时间递增的顺序到达Flink作业中，则称此流数据为乱序（out-of-order)数据流。下面给出一个乱序数据流的示意图 现假设所有传感器的时间是同步的，那么传感器中监测到的事件数据，理论上的顺序为1、2、3、3、5、6、7、9.但经过网络传输后到达Flink作业时的顺序为2、3、1、7、3、5、9、6，不少事件时间次序颠倒，形成乱序。其中有两个时间戳为3的事件数据，有是不同可能Key的时间戳，也可能是传感器重发了两次3.因此，在真正的分布式环境中，要
[Flink]Flink1.3 Stream指南六 事件时间与处理时间
SmartSi
10-27 5801
Flink在数据流中支持几种不同概念的时间。1. 处理时间 Processing TimeProcessing Time(处理时间)是指执行相应操作机器的系统时间(Processing time refers to the system time of the machine that is executing the respective operation.)。当一个流程序以处理时间来运行时，
Flink 事件时间与处理时间
qq：489366879
04-19 3393
Flink 在数据流中支持几种不同概念的时间。 1. 处理时间 Processing Time(处理时间)是指执行相应操作的机器系统时间，是操作算子在计算过程中获取到的所在主机的系统时间。当用户选择使用处理时间时，所有和时间相关的算子，例如 Windows 计算，在当前任务中所有的算子直接使用所在主机的系统时间。例如，一个基于处理时间按每小时进行处理的时间窗口将处理一个小时内（以系统时间为标准）到达指定算子的所有的记录。 处理时间是最简单的一个时间概念，不需要在数据流和机器之间进行协调。具有...
flink--事件时间的重要
qq_45981158的博客
11-03 396
时间 在流式数据处理理论中，经常使用事件或记录表示从所处理的数据集中拉取的数据，在 Flink中通常以有结构的对象表示事件。 在无界数据处理中，主要有两类事件概念。 (1)事件时间( Event Time):事件实际发生的时间。 (2)处理时间( Processing Time):事件被处理的时间。 并不是所有应用场景都关注事件时间，但其重要性是不言而喻的。例如，在用户行为特征分析、异常检测、基于信贷历史的风控型等分析中，事件时间起 到了决定性的作用。 用户行为特征分析 用户浏览网页或App时会产生一系
Flink -- 事件时间 & Watermark
加油
11-06 693
上图表示的是以Flink的流程图，图中总共有两个并行度，每一个Task上面都带着任务的时间，在Flink中，会将任务的时间向后传递，当途中上游map（1）将任务时间传递给下游window（1）时，下面的上游map（2）也会任务时间传递给下游window（1）（上游的任务是并行的），此时下游window（1）就会产生两个任务时间，此时就会选择时间最小的时间的作为水位线。在使用事件时间的时候需要注意的是打入数据的数据时间是需要按照时间的顺序打入，否则数据就会丢失（也可以不按照顺序打入，后面有解决办法）
flink中的事件时间和水印
dragon_blog的博客
01-01 1038
Flink的数据源在确认所有小于某个时间戳的消息都已输出到Flink流处理系统后，会生成一个包含该时间戳的WaterMark，插入到消息流中，输出到Flink流处理系统中，Flink算子按照时间窗口缓存所有流入的消息。比如：某数据源中的某些数据由于某种原因(如：网络原因，外部存储自身原因)会有2秒的延时，也就是在实际时间的第1秒产生的数据有可能在第3秒中产生的数据之后到来。+ "|水位线时间戳: "+ wm + ","+ format.format(wm.getTimestamp()));
Flink事件时间和水印详解
长臂人猿的博客
08-04 5974
前言 Flink使用版本：1.12.1。   水印是一个标记的时间戳，是一个标记：意味着水印代表时间前的数据均已到达（人为的设定——开发人员可以控制延迟和完整性之间的权衡），这一点水印保障了乱序问题的解决（这很重要，特别是多分区kafka消费）。因为在流处理中，面对乱序问题，你不可能一直等待数据的到达而不去对数据进行操作（尤其像是聚合操作这类操作）。故此面对超时到达的数据你必须进行处理，如何判断超时数据——水印，你也可以设置一定的延迟时间。这两点（解决乱序；允许延迟）也是水印的主要功能。第二点通常与窗口一起
Flink Time中事件时间案例详解
LBJ_小松鼠的博客
03-08 806
需求：基于事件时间EventTime Tumbling Window窗口【5秒】，进行聚合统计：WordCount。 `准备数据` 1000,a,1 2000,a,1 5000,a,1 9999,a,1 11000,a,2 14000,b,1 14999,b,1 如果使用基于事件时间EventTime窗口统计，需要如下三个步骤： import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.ap.
【Flink 基础篇】Flink 架构（三）：事件时间处理
Code · Cloud · Think · Repeat
01-26 2313
在事件时间模式下，Flink 流式应用处理的所有记录都必须包含时间戳。时间戳将记录和特定时间点进行关联，这些时间点通常是记录所对应事件的发生时间。但实际上应用可以自由选择时间戳的含义，只要保证流记录的时间戳会随着数据流的前进大致递增即可。正如前文所述，基本上所有现实应用场景都会出现一定程度的时间戳乱序。
大数据专家详解，Flink事件时间水印和迟到数据处理，Flink Time
2401_83384536的博客
03-20 1276
之前的文章中已经屡次提到过Flink的事件时间（event time）、水印（watermark）、乱序（out-of-order）、迟到数据（late element）这些概念，虽然它们都非常基础，但笔者还没有对它们做过像样的介绍，感觉不太合适。正好今天脑子比较累，又是Friday night，不适合写复杂的东西，就来谈谈简单的吧。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值