FlinkSQL 水印（Watermark）的使用和编程实例

最新推荐文章于 2025-09-03 16:19:26 发布
最新推荐文章于 2025-09-03 16:19:26 发布
阅读量807 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： php 开发语言 编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PixelLancer/article/details/132904148
编程 专栏收录该内容
376 篇文章 ¥29.90 ¥99.00
订阅专栏
本文介绍了Apache Flink中的水印机制，用于处理事件时间，解决延迟和数据乱序问题。文章详细阐述了水印概念，FlinkSQL中的水印定义，并提供了具体的编程示例，展示了如何在FlinkSQL查询中定义和使用水印进行窗口计算。

FlinkSQL 水印（Watermark）的使用和编程实例

水印（Watermark）是 Apache Flink 中一种用于处理事件时间（event time）的机制，它在事件流中插入时间戳的特殊元素，用于标识事件的发生时间。水印在流处理中非常重要，它可以用于处理延迟数据、处理无序数据以及实现窗口操作等。本文将介绍 FlinkSQL 中水印的使用方法，并提供相应的编程示例。

什么是水印（Watermark）？

在事件流处理中，我们通常需要根据事件的发生时间进行计算和分析，而事件的发生时间并不总是与事件到达处理系统的时间一致。由于网络传输延迟、数据乱序等原因，事件的到达顺序和事件的实际发生顺序可能存在差异。为了解决这个问题，Flink 引入了水印的概念。

水印是一种特殊的事件，它带有一个时间戳，并用于表示在该时间戳之前的事件已经全部到达。换句话说，水印标识了事件时间轴上的一个时间点，该时间点之前的事件都已经到达。水印的引入可以帮助我们处理乱序事件、处理延迟数据以及触发窗口计算等操作。

FlinkSQL 中的水印

FlinkSQL 是 Apache Flink 提供的一种声明式的 SQL 接口，它可以让用户使用类似 SQL 的语法进行流处理。在 FlinkSQL 中，我们可以使用 WATERMARK 关键字来定义水印。下面是一个示例的 FlinkSQL 查询语句，其中包含了水印的定义：

CREATE
了解本专栏 订阅专栏 解锁全文
大数据Flink（一百一十八）：Flink SQL水印操作（Watermark）
Lansonli（蓝深李）的博客
09-14 2665
4.后面几个以此类推，直到Event Time为：1648197590000的数据进来的时候，前一条数据的WaterMark为1648197589000，于是更新当前的WaterMark为1648197590000，Flink认为1648197590000之前的数据都已经到达，且达到了窗口的触发条件，开始进行计算。但是由于网络、分布式等原因，会导致数据乱序的情况。通过watermark来解决，简单来说就是延迟窗口关闭的时间，等一会迟到的数据，窗口关闭不在依据数据的时间，而是到达的watermark的时间。
大数据Flink（七十八）：SQL 的水印操作（Watermark）
Lansonli（蓝深李）的博客
09-12 1261
4.后面几个以此类推，直到Event Time为：1648197590000的数据进来的时候，前一条数据的WaterMark为1648197589000，于是更新当前的WaterMark为1648197590000，Flink认为1648197590000之前的数据都已经到达，且达到了窗口的触发条件，开始进行计算。可以看到，设置了最大允许乱序时间后，WaterMark要比原来低5秒，可以对延迟5秒内的数据进行处理，窗口的触发条件也同样会往后延迟关于延迟时间，请结合业务场景进行设置。
flinksql watermark 文档
yy的博客
07-23 571
https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/dev/table/sql/create/#watermark
FlinkSQL的Watermark机制和Checkpoint机制
sijiwang95的博客
04-12 2186
Watermark机制，就是水印机制，也叫做水位线机制。就是专门用来解决流式环境下数据迟到问题的。
FlinkSql窗口概念，及水印使用
斧王，不能再斩杀了吗的博客
03-06 1768
双流join的情况下，watermark的获取方式为： 1.分别计算俩条流的watermark 2.然后比对俩条流的watermark选取小的 ->CombineWatermark = min(watermark1,watermark2) 双流join关于的Interval Join的实现 Interval Join则没有window的概念，直接用时间戳作为关联的条件，更具表达力。由于流消息的无限性以及消息乱序的影响，本应关联上的消息可能进入处理系统的时间有较大差异，一条流中的消息，可能需要和另一条流
Flink-SQL 设置水位线（Watermark）和开窗（window）示例
m0_48379126的博客
01-19 5487
代码 import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
flink重温笔记（十八）： flinkSQL 顶层 API ——实时数据Table化（涵盖全面实用的 API ）
m0_60732994的博客
03-16 2008
喜欢我的博客的话，记得点个红心❤️和小关小注哦！您的支持是我创作的动力！" 2. 数据库操作 3. 数据表操作 4. 视图操作 5. 分区操作 6. 函数操作 ## 五、FlinkSQL 流处理 1. 时间特性 1.1 处理时间（Processing Time） 简介：机器在本地生成的时间，不需要提取时间戳，也不需要水印！例子：文件系统建表 总结：在建表的时候增加一列：,注意 timestamp 需要为 BIGINT 类型！例子：文件流转化为表 总结：转化为表指定字段时，添加一列 1.2
FLINK SQL&Table API 的基本概念及常用API
王小工小工历程
10-10 2084
首先，需要定义数据源source_table和数据输出目标result_table。这里假设source_table是一个Kafka数据源，而result_table是一个文件系统上的CSV文件。-- 定义数据源) WITH (-- 定义输出目标) WITH (
flink重温笔记（十七）： flinkSQL 顶层 API ——SQLClient 及流批一体化
m0_60732994的博客
03-15 1656
今天是学习 flink 的第 17 天啦！学习了 flinkSQL 的客户端工具 flinkSQL-client，主要是解决大数据领域数据计算避免频繁提交jar包，而是简单编写sql即可测试数据，文章中主要结合 hive，即编写 flinksql 可以操作 hive 中的数据表，以及流批一体化：kafak 将数据写入到 hive中，结合自己实验猜想和代码实践，总结了很多自己的理解和想法，希望和大家多多交流！
从0到1上手Flink SQL：大数据实时处理的神兵利刃
最新发布
2503_92085803的博客
09-03 1073
Flink SQL 将 SQL 查询转换为 Flink 的执行计划，利用 Flink 强大的分布式计算能力和流批一体化处理能力，高效地执行查询操作，实现对大规模数据的实时处理和分析。而 Flink SQL 作为 Flink 提供的一种高层次查询语言接口，基于 SQL 标准，让开发者能够使用熟悉的 SQL 语法对数据流和批数据进行处理，进一步降低了大数据处理的门槛，提高了开发效率，成为众多企业进行大数据实时处理和分析的首选工具之一。例如，优化器可以更智能地选择最优的执行计划，减少不必要的数据扫描和计算。
Flink Sql 中 Watermark 使用方式
Y_FC_EMBEDD的博客
02-10 6118
1、创建 env 和 tableEnv 环境 2、利用 Sql 定义 Source 数据源（并在数据源中定义Watermark和event-time），连接Source 3、利用滑动窗口Hop测试Watermark和event-time是否定义成功 4、利用Window TopN实现业务逻辑 val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val sett
【Flink】Watermark 在 Flink SQL 中的用法
在路上的专栏
09-05 1768
Flink SQL 中的 Watermark 机制简化了对无序数据的处理。通过定义 Watermark，Flink 可以基于事件时间准确地处理乱序数据，确保数据分析结果的准确性。Watermark 的灵活性允许你根据不同场景定制延迟策略，适应现实数据流的复杂性。
在Flink SQL中使用watermark进阶功能
weixin_45249411的博客
03-24 2563
在Flink SQL中使用watermark进阶功能在Flink1.18中对Watermark的很多进阶功能（比如watermark对齐）通过datastream api很容易使用。在sql中使用不是很方便，在Flink1.18中对这些功能进行扩展。在sql中也能使用这些功能。只有实现了接口的源连接器(source connector)（比如kafka、pulsar）才可以使用这些进阶功能。这些进阶的功能都可以使用dynamic table options或 hint进行配置，如果用户同时使用dynamic
FlinkSQL消费kafka设置WaterMark
xiaozhaoshigedasb的博客
07-10 2071
消费kafka： val createTableSql = """ |CREATE TABLE aggs_test( | data VARCHAR, | account_id VARCHAR, | android_id VARCHAR, | iccid VARCHAR, | imei VARCHAR, | imsi VARCHAR, | operator VARCHAR, | oa_id V
Flink Sql 定义watermark注意事项: java.time.format.DateTimeParseException
雾岛与鲸的博客
03-02 2694
Flink版本: 1.12.0 异常: java.time.format.DateTimeParseException kafka数据源声明案例: CREATE TABLE user_actions_source ( -- `event_time` TIMESTAMP(3) METADATA FROM 'timestamp', -- `partition` BIGINT METADATA VIRTUAL, -- `offset` BIGINT METADATA VIRTUAL, `user_id
Flink详解系列之五--水位线（watermark）
wr_java的博客
04-13 2445
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。3.2 水位线分配器。
Flink之Watermark详解
weixin_44519496的博客
10-29 439
在上一篇文章中我们介绍了窗口相关的内容，那么问题来了，比如公司组织春游，规定周六早晨8：00 ~ 8:30清查人数，人齐则发车出发，可是总有那么个同学会睡懒觉迟到，这时候通常也会等待20分钟，但是不能一直等下去，如果到了20分钟则认为，想自己在家过周末，不参与春游活动了，不会继续等待了，直接出发。 这种机制跟这里要讲的watermark机制是一个意思。指的是，由于网络延迟等原因，一条数据会迟到计算，比如使用event time来划分窗口，我们知道窗口中的数据是计算一段时间的数据，如果一个数据来晚了，它的时间
Flink流计算编程--watermark（水位线）简介
热门推荐
lmalds的专栏
09-30 6万+
1、watermark的概念watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp，例如1472693399700（2016-09-01 09:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700) = 1472693396700(2016
【Flink】Flink 中的时间和窗口之水位线(Watermark)
菜鸟sdut的博客
06-26 3496
在事件时间语义下，我们可以不依赖系统时间，而是基于数据自带的时间戳去定义了一个时钟，用来表示当前时间的进展。这样每个并行子任务都会有一个自己的逻辑时钟，它的前进是靠数据的时间戳来驱动的。但是在分布式系统中，会存在一些问题，因为数据本身在处理转换过程中会发生变化，如果遇到窗口聚合的操作，呢么下游的数据就会变少，时间进度的控制就不精细了。另外，数据向下游任务传递时，一般只能传输给一个子任务（除广播外），这样其他的并行子任务的时钟就无法推进了。所以时钟也需要以数据的形式传递出去，告诉下游任务当前时间的进展；
flinksql watermark
07-30
在 Flink SQL 中，Watermark 用于处理基于事件时间的乱序数据流。Watermark 的定义通常与事件时间字段相关联，用于告知 Flink 如何处理数据流中的乱序问题。以下是使用 Watermark 的完整指南。 ### 定义 Watermark 在 Flink SQL 中，Watermark 通过 `CREATE TABLE` 的 DDL（数据定义语言）语句进行定义。基础语法如下： ```sql CREATE TABLE table_name ( column_name1 data_type, column_name2 data_type, ... WATERMARK FOR event_time_column AS watermark_strategy ) WITH (connector = '...', ...); ``` - `event_time_column` 是表中表示事件时间的字段。 - `watermark_strategy` 是一个表达式，用于定义 Watermark 的生成策略。 ### 常见 Watermark 策略 1. **固定延迟策略** 适用于数据流中存在固定延迟的情况，例如： ```sql WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ``` 这表示 Watermark 会滞后事件时间 5 秒，适用于数据最多延迟 5 秒到达的场景[^1]。 2. **基于最大事件时间** 可以使用 `MAX_WATERMARK` 函数来定义 Watermark，例如： ```sql WATERMARK FOR event_time AS MAX_WATERMARK() ``` 这种策略会根据当前窗口中最大的事件时间生成 Watermark。 3. **无延迟 Watermark** 如果数据流是有序的，可以使用无延迟策略： ```sql WATERMARK FOR event_time AS event_time ``` ### 使用 Watermark 的场景 1. **事件时间窗口聚合** 在定义窗口聚合时，Watermark 能够确保窗口的触发时机正确。例如，定义一个基于事件时间的 1 分钟滚动窗口： ```sql SELECT TUMBLE_END(event_time, INTERVAL '1' MINUTE) AS window_end, COUNT(*) AS count FROM table_name GROUP BY TUMBLE(event_time, INTERVAL '1' MINUTE); ``` 2. **处理乱序数据** Watermark 的主要作用是处理乱序数据。例如，如果数据流中的事件时间可能延迟 5 秒到达，定义 Watermark 时需要预留出时间： ```sql WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ``` 3. **结合状态管理** 在有状态的计算中，Watermark 与状态管理紧密相关。Flink SQL 的优化器会根据 Watermark 的定义推导出状态算子的生成策略，从而保证计算结果的最终一致性[^2]。 ### 示例：定义带有 Watermark 的表 以下是一个完整的示例，定义一个带有 Watermark 的 Kafka 数据源表： ```sql CREATE TABLE kafka_source ( user_id STRING, event_time TIMESTAMP(3), amount DOUBLE, WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'format' = 'json' ); ``` 此表定义了一个事件时间字段 `event_time`，并指定了 5 秒的 Watermark 延迟。 ### 注意事项 - **事件时间字段必须是 `TIMESTAMP` 或 `TIMESTAMP(3)` 类型**，否则 Watermark 无法正确解析。 - **Watermark 表达式必须是确定性的**，确保每个事件的 Watermark 计算结果一致。 - **避免 Watermark 延迟过长**，否则可能导致窗口计算延迟，影响实时性。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值