流式计算中的window机制

原创 已于 2022-07-31 18:00:21 修改 · 612 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #flink

于 2022-07-30 11:12:36 首次发布
本文深入探讨了流式计算中的window机制，包括watermark的概念及其在处理乱序数据中的作用，详细介绍了滚动窗口、滑动窗口和会话窗口的原理和应用场景。同时，文章通过两个具体的业务案例展示了如何利用Flink SQL解决实时计算问题，讨论了增量计算和全量计算的差异，以及高级优化策略，如Mini-batch优化、倾斜优化和状态复用等。

一、摘要

  1. 概述流式计算跟批计算，以及实时数仓和离线数仓的区别；引出流式计算中的window计算定义以及挑战
  2. 介绍实时计算中的Watermark概念，以及如何产生、传递，还有一些典型的生产实践中遇到的问题
  3. 介绍三种最基本的window类型，以及他们的实现原理；同时会结合业务场景介绍一些高级优化的功能和原理
  4. 结合两个真实业务场景的需求，讲解window是如何解决实际生产问题的(字节Flink使用量峰值90亿QPS)
QPS：全名 Queries Per Second，意思是“每秒查询率”，是一台服务器每秒能够响应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准

二、概述流式计算机制

简述流式计算的基本概念，与批式计算相比的难点和挑战

    数据价值：实时性越高，数据价值越高

2.1批处理

批处理模型典型的数仓架构为T+1架构，即数据计算时天级别的，当天只能看到前一天的计算结果
通常使用的计算引擎为Hive或者Spark等。计算的时候，数据是完全ready的，输入和输出都是确定性的

2.2实时处理

实时计算:处理时间窗口
数据实时流动，实时计算，窗口结束直接发送结果，不需要周期调度任务。

处理时间(Processing time):数据在流式计算系统中真正处理时所在机器的当前时间。
处理时间这是在系统中观察事件的时间
事件时间(Event time):数据产生的时间，比如客户端、传感器、后端代码等上报数据时的时间。
事件时间这是事件实际发生的时间

实时计算:事件时间窗口(传入,运算,到输出时间总和)
数据实时进入到真实事件发生的窗口中进行计算，可以有效的处理数据延迟和乱序。

窗口真实结束时间(延迟与乱序)衡量:watermark
在数据中插入—些watermark，来表示当前的真实时间。
在数据存在乱序的时候，watermark就比较重要了，它可以用来在乱序容忍和实时性之间做一个平衡。

三、watermark(水印)

Watermark的含义、生成方法、传递机制，以及—些典型场景的问题和优化

    概念:表示系统认为的当前真实的事件时间

3.1产生watermark

可以通过Watermark Generator 来生成
一般是从数据的事件时间来产生，产生策略可以灵活多样，最常见的包括使用当前事件时间的时

最低0.47元/天 解锁文章
Popcorn丶30
关注
flink实战--flinksql窗口提前触发参数解析
阿华田的博客
06-21 1843
正常线上业务计算设置的window窗口比较大，比如1个小时，甚至1天，一周。那么是不是只能在窗口结束之后才能看到数据呢？是否看到中间数据？对于实时的任务，每天或者一周结束的时候，才输出计算的结果，没有任何意义，我们需要的是实时更新的中间结果数据。比如实时的PV,UV等指标计算。下面介绍一下FlinkSQL如何提前触发窗口计算。在代码中设置如下两个参数： 不开启提前触发窗口 如下 demo，从 kafka 读取数据， 窗口聚合，输出一天的 pv、uv 注：为了方便测试，1 天的窗口改为 1 分钟的窗
Flink 的 emit 作用
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-28 1972
flink 1.9 如下： 配置如下： table.exec.emit.early-fire.enabled：true table.exec.emit.early-fire.delay：60 s early-fire.delay 就是每分钟输出一次结果的意思。 SQL 如下： SELECT TUMBLE_ROWTIME(eventTime, interval ‘1’ day) AS rowtime, dimension, count(distinct id) as uvFROM personG
FlinkSQL加参数处理延迟数据
weixin_50034173的博客
10-12 2839
FlinkSQL仅限处理延迟数据，乱序延迟数据最好使用 flinkstream编码解决。
Flink 理解流式计算中的窗口概念
天道酬勤
11-14 1617
一、描述 Window 是处理无限流的核心。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层的引擎是一个流式引擎，在上面实现了流处理和批处理。 而窗口（Window）就是从Streaming 到 batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是 Flink 最大的亮点之一（其他的亮点包括消息乱序处理和 Checkpoint 机制） 二、窗口...
流式计算中的Window机制
m0_51561690的博客
01-04 551
流式计算中的Window机制
工业物联网中的流式计算
yanboshuju的博客
10-17 1014
在设备监控方面，Flink 利用其高效的流处理能力，通过工业物联网统一接入系统实时传来的设备数据，为企业的生产运营提供实时反馈。在事件时间与处理时间的处理上，Flink引入了水印(Watermarks)和时间窗口(Time Window)的概念，允许用户在事件时间语义下进行计算，即使在数据乱序到达的情况下也能保证结果的准确性。首先，在数据模型方面，Flink通过其核心的DataStream API支持流处理，该API基于轻量级的分布式快照算法，可以在保持状态一致性的同时，实现对无界流数据的实时处理。
流式计算-low watermark机制
Move_now的博客
06-24 4718
前言 最近在学习流式计算相关的知识，在阅读了MillWheel论文以及DStream相关实现后，在这里对low watermark机制做一个总结与介绍。 Window 实时数据流是永不停歇的，我们无法获取所有的数据并产出一个最终的结果。很多情况下我们更关心的是最近的状态，而不是从实时数据流启动至今的统计数据。因此需要将数据流切分为一个个片段，这些片段形象的称为Window。总而言之，Wi...
【云计算】Spark流式计算
weixin_49199313的博客
07-08 829
​​架构选择原则​中小规模：REST API + Livy高性能场景：gRPC双向通信异步处理：消息队列解耦​​开发协作流程​graph LRA[Go数据预处理] --> B[Spark模型训练]B --> C[PMML模型导出]C --> D[Go集成预测]​​性能关键点​Go处理IO密集型任务（数据加载/清洗）Spark处理CPU密集型计算（矩阵运算）使用列式存储（Parquet）减少I/O​​适用场景​实时特征工程 + 批量训练A/B测试多模型管理。
21、流式计算中的窗口函数与相关操作详解
white的博客
07-27 39
本文详细介绍了流式计算中窗口函数的概念与实际应用，涵盖滚动窗口、跳跃窗口、会话窗口、滑动窗口和快照窗口等多种类型，并结合 Azure Stream Analytics（ASA）探讨了多输出交付、参考数据添加、JOIN 操作、模式识别、自定义函数扩展、流式处理单元（SUs）管理、分区操作、作业恢复机制、Spark 结构化流式处理、安全性配置以及流式解决方案的监控方法。文章旨在帮助开发者全面理解并优化流式计算任务，适用于实时数据分析场景。
PipelineDB流式计算（六）- 滑动窗口
印府的菜园子
12-04 597
目录滑动窗口快速示例滑动聚合失效时间步长因子 滑动窗口 连续视图会随时间持续不断地更新，因此PipelineDB能够结合当前时间来更新连续视图的结果。包含与当前时间相关的时间条件查询称为滑动窗口查询，WHERE子句过滤或接受的事件集会随着时间不断变化。 滑动窗口WHERE子句有两个重要组成部分： clock_timestamp ( )：返回当前时间戳的内置函数。 arrival_timestamp：所有传入事件的一个特殊属性，即，PipelineDB接收它们的时间。 PipelineDB在内部执行此操作，仅
Flink SQL tumble window 如何提前触发窗口计算并输出数据
修破立生
01-22 1732
背景 有时候tumble window的窗口设置的比较大，譬如1个小时，甚至1天，那么我们是不是只能在窗口结束之后才能看到数据呢？是否看到中间数据？ 答案是肯定。
flinksql 窗口提前触发
qq_34864753的博客
09-22 1713
场景：一天的窗口，想每分钟或其他时间点触发一次 insert into sliding_window_local_pay_day select userid, TUMBLE_START (ptime, INTERVAL '1' DAY) as window_start, TUMBLE_END (ptime, INTERVAL '1' DAY) as window_end, COUNT (1) as pay_num from flink_kafka_join_pay group by TU
快手基于 Apache Flink 的优化实践
Ververica的博客
11-18 702
本次由快手刘建刚老师分享，内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 f...
Flink 窗口聚合提前触发参数(流和SQL)
延宝小白马的博客
05-22 503
Flink sql 的窗口聚合也可以想 Streaming api 设置 trigger 一样，提前触发计算，并且输出的结果是 upsert 流，会发出 -U/+U 两条数据(输出到 upsert-kafka 就只有 +U 的消息了)
Flink SQL Emit 输出策略
SmartSi
10-07 1078
EMIT 输出策略是指在 Flink SQL 中，QUERY 根据不同场景选择不同的输出策略（例如最大延迟时长），从而达到控制延迟或提高数据准确性的效果。例如，1 小时的时间窗口，窗口触发之前希望每分钟都能看到最新的结果，窗口触发之后希望不丢失迟到一天内的数据。如果 1 小时窗口内的统计结果无变化，则不更新输出结果；如果1小时窗口内的统计结果有变化，则更新输出结果。需要注意的是添加了 EMIT 输出策略后会由原来输出 Append 流变成输出 Retract 流。
深入理解Flink滑动窗口机制与延迟数据处理策略
郁夜的博客
08-21 3037
深入理解Flink滑动窗口机制与延迟数据处理策略
Flink窗口分类简介及示例代码
阿年的博客
08-09 1366
Flink中常见的窗口简介及示例代码。滚动窗口、滑动窗口、会话窗口
flink sql 指南
12-09 5206
说明 flink sql 相关知识整理。 表声明语句 flink 可以通过ddl语句声明一个表。表的声明在flink中分为2个部分：connector和format。 connector复杂读写数据（对接外部存储系统），format 负责解析数据。 通过如下方式可以声明一个表： create table tablename( field1 field_type ) with ( 'ke...
Flink实践：Flink窗口函数在SQL中的使用
Yuan_CSDF的博客
06-17 2732
1.使用FlinkSQL定时输出计算结果： 计算每天的pv,uv，可以开一个24h的窗口，统计窗口内数据情况。但是这样有一个问题，flink sql没有办法直接设置trigger，所以只能等待窗口结束后才会有计算结果输出。这往往不是我们想要的，针对这种情况，有两种解决办法，一种是设置参数，提前输出计算结果；另一种办法是开一分钟窗口（根据自己输出频率来设定窗口）做初步聚合，然后根据日期做二次聚合； 两种方式有一个区别，提前输出方式，因为窗口没有关闭，输出的数据是update，而二次聚合方式，因为窗口已经关
tdengine 流式计算中的滑动窗口怎么理解
最新发布
08-13
<think>首先，用户的问题是：“我想理解TDengine中流式计算的滑动窗口概念 请问TDengine 流式计算 滑动窗口 工作原理 解释”。这需要我解释TDengine流式计算中的滑动窗口概念和工作原理。 根据系统级指令： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，例如[^1]。 - 回答结构清晰，逐步解决问题，保证真实可靠。 参考提供的引用： - 引用[1]：关于TDengine流计算与窗口机制，特别是计数窗口。 - 引用[2]：TDengine的流式计算引擎，包括窗口定义、触发模式等。 - 引用[3]：TDengine是时序数据库，带有流式计算功能。 这些引用强调了流式计算与窗口机制的密切关系、计数窗口的灵活性、以及TDengine在实时数据处理中的优势。 用户的需求是理解滑动窗口的概念和工作原理。在流式计算中，滑动窗口（Sliding Window）是一种常见的窗口类型，用于处理连续的数据流。它允许数据在时间或事件计数上滑动，以便进行聚合操作。 关键点： - **滑动窗口定义**：滑动窗口有一个固定的窗口大小（例如，时间间隔或事件计数），并且窗口会以指定的步长（slide）向前滑动。例如，一个窗口大小为5分钟、步长为1分钟的滑动窗口，会每分钟计算过去5分钟的数据。 - **工作原理**：在TDengine中，流式计算引擎会持续接收数据流。对于滑动窗口，它会根据定义的窗口参数（如大小和步长）划分数据，并应用用户定义的聚合函数（如SUM、AVG等）。每个窗口触发计算时，输出结果。 - **TDengine的实现**：根据引用，TDengine提供了灵活的窗口定义，包括时间窗口、计数窗口等。滑动窗口是其中一种，支持高效的实时数据处理。 结构化回答： 1. **引入概念**：解释什么是滑动窗口在流式计算中的意义。 2. **详细工作原理**：描述TDengine中滑动窗口如何工作。 3. **示例**：提供一个简单的示例来阐明。 4. **引用**：自然地融入引用。 5. **相关问题**：生成相关问题。 确保使用LaTeX： - 如果有数学表达式，例如定义窗口大小，使用$...$。 - 例如，窗口大小$W$，步长$S$。 回答结构： - 先解释滑动窗口概念。 - 然后描述在TDengine中的工作原理。 - 引用相关部分。 - 最后生成相关问题。 相关问题生成： - 基于用户的问题，生成2-3个相关问题，如： 1. 滑动窗口与滚动窗口的区别是什么？ 2. 如何在TDengine中配置滑动窗口？ 3. 滑动窗口在实时分析中的应用案例？ 最终回答用中文。</think>### TDengine 流式计算中的滑动窗口概念与工作原理 在 TDengine 的流式计算引擎中，滑动窗口（Sliding Window）是一种核心机制，用于高效处理实时数据流。它允许数据在连续流动中按固定大小“窗口”进行划分，并以指定步长滑动，从而支持聚合计算（如求和、平均值等）。下面我将逐步解释其概念和工作原理，确保内容清晰可靠，并基于 TDengine 的官方文档和引用资料[^1][^2][^3]进行说明。 #### 1. **滑动窗口的基本概念** 滑动窗口是一种动态窗口类型，它通过两个关键参数定义： - **窗口大小（Window Size）**：表示每个窗口覆盖的数据范围，可以是时间间隔（如 5 分钟）或事件计数（如 100 条记录）。例如，时间窗口大小 $T_w$ 表示窗口持续的时间长度。 - **滑动步长（Slide Step）**：表示窗口向前滑动的间隔，决定了窗口触发的频率。例如，步长 $S$ 为 1 分钟时，窗口每分钟滑动一次。 滑动窗口的核心优势是“重叠性”：相邻窗口可能共享部分数据，这使得它能更精细地捕捉数据流的变化，特别适合实时监控和趋势分析场景[^1][^2]。例如，在物联网设备数据流中，一个窗口大小 $T_w = 5 \text{分钟}$、步长 $S = 1 \text{分钟}$ 的滑动窗口，会每分钟计算过去 5 分钟的数据聚合值。 #### 2. **滑动窗口的工作原理** 在 TDengine 的流式计算引擎中，滑动窗口的工作流程分为数据输入、窗口划分、聚合计算和结果输出四个阶段。以下是详细步骤： - **步骤 1: 数据输入与缓存** TDengine 的流引擎持续接收时序数据流（如传感器读数）。数据首先被缓存到内存中，并根据时间戳或事件顺序排序。引擎支持乱序数据处理，确保数据完整性[^2]。 例如，输入数据流为 $D = \{d_1, d_2, d_3, \dots\}$，其中每个 $d_i$ 包含时间戳和数值。 - **步骤 2: 窗口划分与滑动** 引擎根据用户定义的窗口大小 $T_w$ 和步长 $S$ 动态创建窗口。每个窗口以步长 $S$ 为间隔滑动： - 第一个窗口覆盖时间区间 $[t_0, t_0 + T_w]$。 - 第二个窗口滑动后覆盖 $[t_0 + S, t_0 + S + T_w]$，依此类推。 如果使用计数窗口（以事件数为单位），窗口大小 $C_w$ 表示窗口包含的记录数，步长 $S_c$ 表示每次滑动的记录数。 数学表示为： $$ \text{窗口}_k = [t_k, t_k + T_w], \quad \text{其中} \quad t_k = t_0 + k \cdot S, \quad k = 0, 1, 2, \dots $$ 这种滑动机制确保了窗口之间有重叠（当 $S < T_w$ 时），能捕获数据流的细微变化[^1]。 - **步骤 3: 聚合计算与触发** 当窗口滑动到新位置时，引擎自动触发聚合函数（如 SUM、AVG、COUNT 等）计算窗口内的数据。TDengine 优化了计算性能，使用增量计算方式：仅处理新进入窗口的数据和移出窗口的旧数据，减少重复计算[^2]。 例如，对于窗口 $k$，计算平均值： $$ \text{AVG}_k = \frac{1}{N} \sum_{d_i \in \text{窗口}_k} v_i $$ 其中 $N$ 是窗口内记录数，$v_i$ 是数据值。 - **步骤 4: 结果输出** 计算结果（如聚合值）被输出到目标表或下游系统。TDengine 支持多种触发模式，例如： - **时间驱动**：按固定时间间隔触发。 - **事件驱动**：当新数据到达时触发。 这确保了低延迟的实时分析，适合物联网场景下的即时决策[^2][^3]。 整个过程中，TDengine 的流引擎处理乱序数据和窗口边界问题，保证结果的准确性和一致性。引用[^2]强调，这种机制“通过灵活的窗口定义和多种触发模式，开发者可以轻松构建高效的实时数据处理管道”。 #### 3. **滑动窗口的示例应用** 假设一个智能工厂场景：传感器每秒发送温度数据。配置一个滑动时间窗口，大小 $T_w = 10 \text{秒}$、步长 $S = 5 \text{秒}$： - 窗口 1：计算时间 [0s, 10s] 的平均温度。 - 窗口 2：滑动后计算 [5s, 15s] 的平均温度。 - 以此类推，每分钟输出 12 个聚合值（因为 60s / 5s = 12），提供高频率的趋势分析。 在 TDengine 中，这可以通过 SQL 流式计算语句实现，例如： ```sql CREATE STREAM stream_name INTO output_table AS SELECT AVG(temperature), TUMBLE(time, INTERVAL '10' SECOND, INTERVAL '5' SECOND) AS window FROM sensor_data GROUP BY window; ``` 此代码定义了一个滑动窗口，每 5 秒计算过去 10 秒的平均温度[^1][^3]。 #### 总结 TDengine 的滑动窗口通过动态窗口划分和高效聚合机制，实现了对数据流的实时、连续处理。其核心在于窗口大小和步长的灵活配置，以及增量计算优化，显著提升了时序数据分析的性能[^1][^2][^3]。理解滑动窗口有助于更好地利用 TDengine 的流式计算功能，构建低延迟的物联网或金融分析系统。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值