Flink窗口window详解（分类、生命周期、窗口分配器、窗口函数、触发器）

原创 于 2024-12-27 17:06:30 发布 · 1.5k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

一、窗口的分类

时间窗口：滚动（窗口大小）、滑动（窗口大小、滑动步长）、会话（会话超时时间）

计数窗口：滚动、滑动

二、窗口window的四个关键组件

        窗口操作一般在keyby之后调用window函数进行计算，因为进行keyby之后，原始的datastream就会分成多条逻辑流，就是keyedStream，基于keyedStream的窗口操作会开启多个并行子任务，即对不同的key分别开启一个并行子任务，各自独立进行窗口计算。

        如果没有keyBy而直接进行窗口计算，调用的是windowAll函数，windowAll函数本身是一个非并行的操作，那么即使手动调大了窗口算子并行度也是无济于事的，最终只会在一个task上进行计算，并行度为1。在实际应用中不推荐。

（1）（必要）窗口分配器（window assigner)

        定义数据应该被分配到哪个窗口，数据流经过窗口分配器处理后得到的是windowedStream，这个类型并不是datastream, 所以不能直接进行其他转换，必须进一步调用窗口函数，才能再次得到datastream。 

        时间窗口根据分类可以通过在window方法中传入不同参数定义如下六种窗口分配器：TumblingProcessingTimeWindows、SlidingProcessingTimeWindows、ProcessingTimeSessionWindows、TumblingEventTimeWindows、SlidingEventTimeWindows、EventTimeSessionWindows。

        计数窗口直接调用.countWindow()方法

最低0.47元/天 解锁文章
聊聊Flink：这次把Flink的window分类(滚动、滑动、会话、全局)、窗口函数讲透
riemann_的博客
11-24 1289
那么窗口的起止时间将变为[0:15:00.000~1:14:59.999），这样你将得到起始时间在0:15:00，1:15:00，2:15:00的窗口。例如，在没有偏移的情况下，时间窗口会做一个对齐，那么1小时窗口的起止时间可以是[0:00:00.000~0:59:59.999）。ProcessWindowFunction是全量计算函数，如果需要依赖窗口中的所有数据或需要获取窗口中的状态数据和窗口元数据（窗口开始时间、窗口结束时间等），就需要使用ProcessWindowFunction。
Flink窗口的生命周期
龙飞的博客
01-03 945
之后的方法调用就完全一样了。此外，在这两者之间，还可以基于 WindowedStream 调用.trigger()自定义触发器、调用.evictor()定义移除器、调用.allowedLateness()指定允许延迟时间、调用.sideOutputLateData()将迟到数据写入侧输出流，这些都是可选的 API，一般不需要实现。当我们设置了允许延迟，那么如果水位线超过了窗口结束时间、但还没有到达设定的最大延迟时间，这期间内到达的迟到数据也会触发窗口计算。窗口有自己的生命周期，即从窗口的开始到窗口的结束。
Flink从入门到放弃之入门篇(四)-剖析窗口生命周期
进击吧大数据的博客
02-01 1230
一、应用场景 Apache Flink可以说是目前大数据实时流处理最流行的技术，功能非常强大，支持开发和运行多种不同类型的应用程序。主要特性包括：批流一体化、状态管理、事件时间支持以及精准一次的状态一致性保障等。目前Flink的应用场景整体概括下来包含以下几点： 事件驱动型应用 数据分析(OLAP)型应用 数据管道/ETL类型应用 接下来将针对这三类应用做一个简单的概述，希望读者能有一个大概的了解。 1.1 事件驱动型应用 概念：事件驱动是在计算存储分离的传统应用基础上进
Flink中窗口生命周期 （小白必看！！）
TB_CYX的博客
02-06 785
详细了解窗口的生命周期，小白必看！
Apache Flink 窗口生命周期、Keyed和非Keyed及分配器诠释
ytp552200ytp的博客
12-19 898
问题导读1.窗口是什么时候开始创建的？2.窗口删除是什么时候？3.如何延迟窗口删除？4.Keyed和Non-Keyed Windows有什么不同？5.在所有的窗口中，哪一个窗口是不基于时间的？ 前面介绍了窗口的一些操作，这里介绍窗口的一些机制。Windows是处理无界流的核心。 Windows将流拆分为有限大小的“桶”，我们可以在其上应用计算。 本文介绍窗口生命周期、Keyed和Non-Keye...
Flink四大基石之窗口（Window）使用详解
天冬忘忧的博客
11-28 2757
本文深入探讨 Flink 中高级 API 里窗口（Window）的相关知识，涵盖为什么需要窗口、其控制属性、应用代码结构、生命周期、分类，以及窗口函数的各类细节，并辅以实例进行讲解，旨在助力开发者透彻理解并熟练运用 Flink 的窗口机制处理流数据。
Flink窗口机制详解
qq_43523503的博客
03-18 3751
Flink的窗口机制 6.1.1 窗口概述 窗口window是用来处理无限数据集的有限块。窗口就是把流切成了有限大小的多个存储桶bucket 流处理应用中，数据是连续不断的，因此我们不能等所有的数据来了才开始处理，当然也可以来一条数据，处理一条数据，但是有时候我们需要做一些聚合类的处理，例如：在过去的一分钟内有多少用户点击了网页。这种情况下，就适合定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口的数据进行计算。 6.1.2 窗口分类 基于时间的窗口（时间驱动） 基于元素的窗口（数据驱动） ke
Flink窗口概述及用法详解
踏雪无痕
07-30 2242
一.简介 窗口window是处理无限流的核心。窗口将流分成有限大小的“存储块”，我们可以在其上应用计算。本博客重点介绍如何在Flink中执行窗口化，以及程序员如何从其提供的功能中获得最大收益。 窗口式Flink程序的一般结构如下所示。第一个片段指的是键控流，而第二个片段指的是非键控流。正如人们所看到的，唯一的区别是keyBy(…)使用window操作键控流和使用windowAll(…)操作的非键控流。 键控窗口 stream .keyBy(...) <- k
flink窗口函数怎么用 举例详细说一下
02-25
现在，我需要整理窗口函数的相关知识，包括窗口类型、分配器、触发器、移除器，以及处理时间和事件时间的区别。需要提供具体的代码示例，比如使用事件时间窗口处理订单数据，或者使用处理时间进行统计。还要注意提及...
【无标题】窗口的分类
m0_73814022的博客
01-25 1102
在Flink中，窗口的应用非常灵活，我们可以使用各种不同类型的窗口来实现需求。接下来我们就从不同的角度，对Flink中内置的窗口做一个分类说明。
Flink--7、窗口（窗口的概念、分类、API、分配器、窗口函数）、触发器、移除器
星光不问赶路人，岁月不负有心人
10-03 2520
窗口（窗口的概念、分类、API、分配器、窗口函数）、触发器、移除器
Flink的窗口计算（章节四）
origin_cx的博客
03-13 1508
Flink的窗口计算（章节四） windows 介绍 窗⼝计算是流计算的核⼼，窗⼝将流数据切分成有限⼤⼩的“buckets”，我们可以对这个“buckets”中的有限数据做运算。 在Flink中整体将窗⼝计算按分为两⼤类：keyedstream窗⼝、datastream窗⼝,以下是代码结构： Keyed Windows stream .keyBy(...) <- keyed versus ...
Flink的window机制
wt334502157的博客
03-22 1230
窗口分为两大类: - 基于时间的窗口 - 时间窗口以时间点到来定义窗口的开始（start）和结束（end），所以截取出的就是某一时间段的数据。到达时间时，窗口不再收集数据，触发计算输出结果，并将窗口关闭销毁 - 窗口大小 = 结束时间 - 开始时间 - 基于元素个数 - 基于元素的个数来截取数据，到达固定的个数时就触发计算并关闭窗口 - 只需指定窗口大小，就可以把数据分配到对应的窗口中
Flink 窗口触发器(Trigger)(二)
王小工小工历程
07-03 2191
用户可以通过实现 Trigger 接口来创建自定义触发器。自定义触发器可以基于复杂的逻辑来决定何时触发窗口的计算。onElement(element, timestamp, window, ctx): 当元素被添加到窗口时调用。(time, window, ctx, out): 当窗口的事件时间到达时调用。(time, window, ctx, out): 当窗口的处理时间到达时调用。onMerge(other): 当两个窗口合并时调用（例如，在会话窗口中使用）。canMerge。
7、如何使用Flink中的窗口（Window算子）
向热爱自己一样，热爱这个世界。
09-26 1509
如何在Flink中使用窗口
Flink中的状态管理
爱丹丹的博客
02-21 1624
本文介绍了 Flink 中的状态管理，包括状态的定义、状态的类型、状态后端、状态持久化等内容。
Flink 窗口触发器
qq_31021213的博客
07-07 1292
Flink 窗口触发器
Flink（十）窗口计算
又小雨的博客
08-18 2761
一、简介 窗口计算：flink的灵魂 窗口计算就是把无界数据流切分为有限大小的“bucket”—>窗口（bucket/window/panel），在窗口上应用计算换上完成计算处理 核心：窗口的划分和计算 我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。 大致程序结构： 按照有没有进行keyby分成了两种 不同的处理方式 首先，我们要决定是否对一个DataS
flink的WindowFunction窗口函数没进去
最新发布
11-09
Flink 的 WindowFunction 窗口函数未执行可能有以下几种原因及相应解决办法： ### 窗口未触发 窗口函数的执行依赖于窗口的触发条件。如果窗口未触发，窗口函数就不会执行。触发条件通常由触发器（Trigger）决定。 - **原因**：默认的触发器可能不满足业务需求，导致窗口未触发。例如，使用处理时间的滚动窗口，默认触发器在窗口结束时触发，但如果系统时间不准确，可能导致窗口一直未结束。 - **解决办法**：可以自定义触发器来控制窗口的触发时机。例如，使用 `EventTimeTrigger` 结合水印（Watermark）来处理事件时间窗口，确保在事件时间推进到窗口结束时间时触发窗口。 ```java import org.apache.flink.streaming.api.windowing.triggers.EventTimeTrigger; // ... .window(TumblingEventTimeWindows.of(Time.seconds(10))) .trigger(EventTimeTrigger.create()) ``` ### 数据未进入窗口 如果数据没有被正确分配到窗口中，窗口函数也不会执行。 - **原因**：窗口分配器（WindowAssigner）的配置可能不正确，导致数据无法进入预期的窗口。例如，使用事件时间窗口时，如果没有正确设置水印，可能会导致数据被分配到错误的窗口或丢失。 - **解决办法**：检查窗口分配器的配置，确保数据能够正确进入窗口。同时，要正确设置水印，保证事件时间的处理正确。 ```java import org.apache.flink.streaming.api.functions.AssignerWithPeriodicWatermarks; import org.apache.flink.streaming.api.watermark.Watermark; // 自定义水印生成器 public class MyWatermarkGenerator implements AssignerWithPeriodicWatermarks<MyData> { private final long maxOutOfOrderness = 3500; // 最大乱序时间 @Override public Watermark getCurrentWatermark() { return new Watermark(System.currentTimeMillis() - maxOutOfOrderness); } @Override public long extractTimestamp(MyData element, long previousElementTimestamp) { return element.getTimestamp(); } } // ... .assignTimestampsAndWatermarks(new MyWatermarkGenerator()) .window(TumblingEventTimeWindows.of(Time.seconds(10))) ``` ### 缓冲区问题 使用 `ProcessWindowFunction` 时，Flink 必须在调用函数之前在内部缓冲窗口的所有元素，如果缓冲区不足或数据量过大，可能导致窗口函数无法执行。 - **原因**：`ProcessWindowFunction` 执行效率不是很好，因为 Flink 内部需要缓存窗口所有元素，当数据量过大时，可能会导致内存溢出或窗口函数无法执行[^1][^3]。 - **解决办法**：可以将 `ProcessWindowFunction` 与 `ReduceFunction`、`AggregateFunction` 或 `FoldFunction` 结合使用，以获得窗口元素的增量聚合以及 `ProcessWindowFunction` 接收的其他窗口元数据，从而减轻这种情况[^1]。 ```java import org.apache.flink.api.common.functions.AggregateFunction; import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction; import org.apache.flink.streaming.api.windowing.windows.TimeWindow; import org.apache.flink.util.Collector; // 自定义聚合函数 public class MyAggregateFunction implements AggregateFunction<MyData, MyData, MyData> { // ... } // 自定义 ProcessWindowFunction public class MyProcessWindowFunction extends ProcessWindowFunction<MyData, MyData, String, TimeWindow> { @Override public void process(String key, Context context, Iterable<MyData> elements, Collector<MyData> out) throws Exception { // ... } } // ... .keyBy(MyData::getId) .window(TumblingProcessingTimeWindows.of(Time.seconds(10))) .aggregate(new MyAggregateFunction(), new MyProcessWindowFunction()) ``` ### 代码逻辑问题 窗口函数的实现可能存在逻辑错误，导致窗口函数无法正常执行。 - **原因**：窗口函数的代码逻辑可能存在错误，例如空指针异常、数组越界等。 - **解决办法**：检查窗口函数的代码逻辑，确保没有错误。可以在代码中添加日志输出，以便调试。 ```java public class MyWindowFunction implements WindowFunction<MyData, MyData, String, TimeWindow> { @Override public void apply(String key, TimeWindow window, Iterable<MyData> input, Collector<MyData> out) throws Exception { try { // 处理窗口数据 // ... } catch (Exception e) { System.err.println("Error in window function: " + e.getMessage()); } } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值