⑦Flink窗口、时间和水印

已于 2022-02-21 23:10:59 修改
阅读量182 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： flink big data java
于 2022-02-20 15:43:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/someInNeed/article/details/123031687
本文深入探讨了Flink中的窗口、时间（事件时间、处理时间、摄入时间）以及水印（WaterMark）的概念。水印是为了处理实时计算中的数据乱序问题，它是带有时间戳的元素，标志着EventTime小于水印时间的数据已经全部到达。Flink通过assignTimestampsAndWatermarks()方法设置水印，提供了周期性和突变性两种水印生成方式。文章通过实例展示了水印如何影响窗口计算，以及如何处理乱序数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

       我们在之前的课时中反复提到过窗口和时间的概念，Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制就是“水印”。

Flink 的窗口和时间

事件(最常用)-摄入-处理


我们在前面讲解过 Flink 窗口的实现，根据窗口数据划分的不同，目前 Flink 支持如下 3 种：

        滚动窗口，窗口数据有固定的大小，窗口中的数据不会叠加；

        滑动窗口，窗口数据有固定的大小，并且有生成间隔；

        会话窗口，窗口数据没有固定的大小，根据用户传入的参数进行划分，窗口数据无叠加。

Flink 中的时间分为三种：

        事件时间（Event Time），即事件实际发生的时间；

        摄入时间（In

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink—窗口、时间和水印
weixin_54707168的博客
09-03 617
事件时间指的是数据产生的时间，这个时间一般由苏韩剧生产方自身携带，如Kafka消息，每个生成的消息中自带一个时间戳代表每套数据的产生时间。处理时间是指数据被Flink框架处理时机器的系统时间，Processing Time是Flink的时间系统中最简单的概念，但是这个时间存在一定的不确定性，比如消息到达处理节点延迟等影响。如果需要处理此类问题，建议使用 EventTime。摄入时间是事件进入Flink系统的时间，在Flink的Source中，每个事件会把当前事件作为时间戳，后续做窗口处理会基于这个时间。
Flink窗口、时间和水印
微信搜：import_bigdata，大数据领域硬核原创作者
01-17 570
声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。 《2021年最新版大数据面试题全面开启更新》 这篇文章主要介绍Flink的窗口、时间和水印。 在之前的文章中反复提到过窗口和时间的概念，Flink框架中支持事件时间、摄入时间和处理时间三种。当我们在流式计算环境中数据从Source产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序，因此，需要一个机制来解决这个问题，这个特别的机制就是“水印”。 Fl......
Flink进阶---08窗口、时间和水印
weixin_42642502的博客
06-06 563
Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制就是“水印”。 Flink 的窗口和时间 我们在第 05 课时中讲解过 Flink 窗口的实现，根据窗口数据划分的不同，目前 Flink 支持如下 3 种： 滚动窗口，窗口数据有固定的大小，窗口中的数据不会叠加； 滑动窗口，窗口数据有固定的大小，并且有生成间隔； 会话窗口，窗口数据没有固定的大
FlinkWindow和水印
小小鱼
04-18 232
文章目录Flink Window API1、TimeWindow1.1、滚动窗口1.2、滑动窗口（SlidingEventTimeWindows）2、CountWindow2.1、滚动窗口2.2、滑动窗口3、window function4、其它可选API5、窗口起始点的确认时间语义与 Wartermark1、Flink中的时间语义2、EventTime 的引入3、Watermark基本概念4、Watermark 的引入4.1、乱序数据的水印引入4.2、Assigner with periodic wate
flink 五、flink的window操作和水印机制
weixin_43761300的博客
08-30 493
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。 什么是window 在流式数据中，数据是连续的。有时我们需要根据业务做一些聚合类的操作，例如过去五分钟内用户浏览量的计算。这五分钟就是一个窗口。 窗口可以由时间或者数量来做区分 1.根据时间进行截取，比如每10分钟统计一次 2.根据消息数量进行统计，比如每1
flink篇——Time和watermark机制
MyNameIsWangYi的博客
08-22 817
优化方案：Flink允许跳过对齐这一步，或者说一个算子子任务不需要等待所有上游通道的Checkpoint Barrier，直接将Checkpoint Barrier广播，执行快照并继续处理后续流入的数据。为了保证数据一致性，Flink必须将那些较慢的数据流中的元素也一起快照，一旦重启，这些元素会被重新处理一遍。周期性地生成 Watermark 的生成，默认是 200ms。（1）每次进行Checkpoint前，都需要暂停处理新流入数据，然后开始执行快照，假如状态比较大，一次快照可能长达几秒甚至几分钟。
Apache Flink窗口操作与时间语义详解
10-15
内容概要：本文详细介绍了Apache Flink中的窗口操作技术与时间语义，涵盖...其他说明：通过学习本教程的内容可以掌握Flink窗口操作的各项核心技术要点，并学会针对不同场景选择合适的时间语义，有效提升数据处理效果。
第八篇：Flink 窗口、时间和水印
微信搜：import_bigdata，大数据领域硬核原创作者
07-20 442
好，欢迎来到第 08 课时，本课时主要介绍 Flink 中的时间和水印。 我们在之前的课时中反复提到过窗口和时间的概念，Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制就是“水印”。 Flink 的窗口和时间 我们在第 05 课时中讲解过 Flink 窗口的实现，根据窗口数据划分的不同，目前 Flink 支持如下 3 种： 滚动窗口，窗口
Flink窗口API、窗口分配器和窗口函数
roi666的博客
01-19 1711
需要先对DataStream调用.keyBy()进行按键分区，然后再调用.window()定义窗口。
Flink窗口时间与触发和Watermaker之间的关系
陈大伟的博客
03-17 2808
Flink窗口时间与触发时机和Wartermarker之间的关系
双指针
xzr_20010315的博客
12-25 158
[双指针问题] 优化问题 不优化使用暴力枚举是O（m*n）的时间复杂度 优化后变成线性的时间复杂度 利用单调性 进行时间复杂度的降阶 //双指针 先暴力 在利用单调性 降低时间复杂度 // 4 5 6 // 1 2 4 7 // 3 4 6 8 9结果输出为 1 1 代表 2 和4 加起来值为6 #include #include using namespace std; const int N=10010; int n,m,x; int a[N],b[N]; int main() { scanf("%d%
轻松通关Flink第08讲：Flink 窗口、时间和水印
sucaiwa的博客
03-26 629
这一课时我们学习了 Flink 的时间类型和水印生成，内容偏多并且水印部分理解起来需要时间，建议你结合源码再进一步学习。
Flink，水印的几种简单写法
qq_31866793的博客
08-24 1432
package com.coder.flink.restart import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.functions.source.SourceFunction import org.apache.flink.streaming.api.functions.timestamps...
Flink的水印（Watermarks）机制是什么，它如何处理乱序事件？
qq_33240556的博客
10-26 552
水印机制是 Flink 事件时间处理中的核心部分，它使得 Flink 能够优雅地处理乱序数据，并且在处理迟到数据的同时保持数据处理的时效性和准确性。通过合理的配置和使用水印，可以大大提高流处理应用的鲁棒性和性能。
Flink流处理（开窗、水印、侧输出流）
weixin_42796403的博客
03-05 3626
Flink流处理高阶编程 目录Flink流处理高阶编程一、Flink的window机制1.1 窗口概述1.2 窗口的分类1.2.1 基于时间的窗口1.2.2 基于元素个数的窗口1.3 Window Function二、Keyed vs Non-Keyed Windows三、Flik中的时间语义与WaterMark3.1 Flink中的时间语义3.1.1 处理时间(process time)3.1.2 事件时间(event time)3.2 哪种时间更重要3.3 Flink中的WaterMar
flink2
sunxj1222的博客
11-20 290
一、流处理API 显示数据类型：.var---->value上specify type （一）source （二）Transform【转换算子】 1、简单转换算子【DataStream ->DataStream】：a、mapb、flatMap：根据旧集合生成一个新的集合 例： flatMap(List(1,2,3))(i => List(i,i))。结果是List(1,1,2,2,3,3) List("a b", "c d").flatMap(line => line.split("
Flink的水印机制
qq_40233706的博客
12-26 2595
一.Flink流处理时间方式 ： EventTime[事件时间] 事件发生的时间，例如：点击网站上的某个链接的时间 IngestionTime[摄入时间] 某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据 ProcessingTime[处理时间] 某个Flink节点执行某个operation的时间，例如：timeWindow接...
Flink事件时间处理和水印
热门推荐
a6822342的博客
09-22 2万+
最近找到这个对事件时间处理和水印说的比较好的文章，所以转载一下，供大家分享，原文连接：http://vishnuviswanath.com/flink_eventtime.html 本文用途纯粹是为了分享，如若有侵权，请与我联系~下面是原文： 如果您正在构建实时流媒体应用程序，则事件时间处理是您必须迟早使用的功能之一。由于在大多数现实世界的用例中，消息到达无序，应该有一些方法，您建立的系统了解消
flink水印延迟时间
最新发布
07-04
在 Apache Flink 中，水印（Watermark）用于处理事件时间（Event Time）中的乱序数据。通过配置水印的延迟时间，可以控制系统对乱序数据的容忍程度，从而影响窗口计算的准确性和延迟。 ### 配置固定延迟生成 Watermark Flink 提供了内置的 `WatermarkStrategy` 来支持常见的水印生成策略，其中最常用的是允许固定延迟的乱序事件处理方式。可以通过 `forBoundedOutOfOrderness` 方法来设置最大允许的延迟时间。 示例代码如下： ```java import org.apache.flink.streaming.api.functions.timestamps.WatermarkStrategy; import org.apache.flink.streaming.api.windowing.time.Time; import java.time.Duration; // 假设 dataStream 是一个已经定义好的 DataStream<Tuple2<String, Long>> dataStream.assignTimestampsAndWatermarks( WatermarkStrategy.<Tuple2<String, Long>>forBoundedOutOfOrderness(Duration.ofSeconds(5)) // 设置允许的最大延迟为 5 秒 .withTimestampAssigner((event, timestamp) -> event.getField(1)) // 使用 Tuple2 的第二个字段作为事件时间戳 ); ``` 在上述代码中，`Duration.ofSeconds(5)` 表示允许最多 5 秒的乱序事件[^1]。这意味着，如果某个事件的时间戳是 `t`，那么 Flink 将认为所有时间戳小于等于 `t - 5` 的事件都已经到达，从而触发相关窗口的计算。 ### 单调递增时间戳生成 Watermark 如果你的数据源保证事件时间戳是单调递增的（即没有乱序），可以使用 `forMonotonousTimestamps()` 策略。这种情况下，Flink 不需要等待任何延迟，因为每个新事件的时间戳都大于或等于前一个事件的时间戳。 示例代码如下： ```java dataStream.assignTimestampsAndWatermarks( WatermarkStrategy.forMonotonousTimestamps() // 适用于时间戳单调递增的情况 .withTimestampAssigner((event, timestamp) -> event.getField(1)) ); ``` 这种方式不需要设置额外的延迟时间，因为它假设所有事件都是按顺序到达的。 ### 自定义周期性 Watermark 生成逻辑 除了使用内置的策略外，还可以自定义 `WatermarkGenerator` 来实现更复杂的水印生成逻辑。例如，你可以根据业务需求动态调整延迟时间，或者基于某些统计指标生成水印。 以下是一个简单的自定义 `WatermarkGenerator` 实现，它会定期生成水印，并允许一定的延迟： ```java public class CustomWatermarkGenerator implements WatermarkGenerator<Tuple2<String, Long>> { private long currentMaxTimestamp; private final long maxAllowedLateness; // 最大允许延迟时间 public CustomWatermarkGenerator(long maxAllowedLateness) { this.maxAllowedLateness = maxAllowedLateness; this.currentMaxTimestamp = Long.MIN_VALUE + maxAllowedLateness; } @Override public void onPeriodicEmit(WatermarkOutput output) { // 每次周期性触发时生成新的水印 output.emitWatermark(new Watermark(currentMaxTimestamp - maxAllowedLateness)); } @Override public void processElement(Tuple2<String, Long> element, Context context) { // 更新当前最大时间戳 if (element.f1 > currentMaxTimestamp) { currentMaxTimestamp = element.f1; } } } ``` 然后，在你的流处理程序中使用这个自定义的 `WatermarkGenerator`： ```java dataStream.assignTimestampsAndWatermarks( new WatermarkStrategy<Tuple2<String, Long>>() { @Override public TimestampAssigner<Tuple2<String, Long>> createTimestampAssigner(SerializedValue<TypeInformation<Tuple2<String, Long>>> typeInfo) { return (event, timestamp) -> event.getField(1); // 使用 Tuple2 的第二个字段作为时间戳 } @Override public WatermarkGenerator<Tuple2<String, Long>> createWatermarkGenerator(WatermarkGeneratorSupplier.Context context) { return new CustomWatermarkGenerator(5000); // 设置最大允许延迟时间为 5 秒 } } ); ``` 在这个例子中，`CustomWatermarkGenerator` 会在每次 `onPeriodicEmit` 被调用时生成一个新的水印，其值为当前最大时间戳减去最大允许延迟时间[^3]。 ### 总结 Apache Flink 提供了多种方式来配置和理解水印的延迟时间。无论是使用内置的 `forBoundedOutOfOrderness` 和 `forMonotonousTimestamps` 策略，还是自定义 `WatermarkGenerator`，都可以灵活地适应不同的应用场景和数据特性。正确配置水印延迟时间对于确保窗口计算的准确性至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值