Flink--Watermark（水位线）与时间语义

最新推荐文章于 2024-06-08 17:21:01 发布
原创 最新推荐文章于 2024-06-08 17:21:01 发布 · 423 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据 #big data

本文探讨了Flink中EventTime时间语义的重要性，介绍了如何设置EventTime并处理乱序数据，特别是通过Watermark机制来确保窗口计算的准确性。讲解了TimestampAssigner的作用，以及AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks的区别，并提到了watermark的设定策略和其在避免计算错误中的关键作用。

Flink--Watermark（水位线）与时间语义

时间语义

时间语义

  • Event Time：事件创建的时间
  • Ingestion Time：数据进入Flink的时间
  • Processing Time：执行操作算子的本地系统时间，与机器相关

问：哪种时间语义更重要？
答：不同时间语义有不同的应用场合，更关心事件时间。

设置Event Time

  • 我们可以直接在代码中，对执行环境调用 setStreamTimeCharacteristic 方法，设置流的时间特性
  • 具体的时间，还需要从数据中提取时间戳（timestamp）
    乱序数据的影响
    乱序数据
  • 当 Flink 以 Event Time 模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子
  • 由于网络、分布式等原因，会导致乱序数据的产生
  • 乱序数据会让窗口计算不准确

Watermark（水位线）

问：怎样避免乱序数据带来计算不正确？
答：遇到一个时间戳达到了窗口关闭时间，不应该立刻触发窗口计算，而是等
待一段时间，等迟到的数据来了再关闭窗口

  • Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发
  • Watermark 是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark 机制结合 win
最低0.47元/天 解锁文章
Flink中Watermark定时生成源码分析
微信搜：import_bigdata，大数据领域硬核原创作者
08-28 785
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下： //指定为evenTime时间语义 env.setStreamTimeCharact
flink-时间语义和水位线API(超级详细)
互联网知识分享
05-19 151
（注意点，如果是以事件为时间，而且使用了定时器，那么建议最好加水位线，虽然不加水位线可以远行程序，但是远行的时候，返回的处理数据会不符合定义的逻辑，而且定时器也无法触发） 比如：assignAscendingTimestamps(_.eventTime * 1000L)即1s延迟+定时器为3s=4s，所以事件时间到4s才可以触发该定时器。窗口左边时间：1547718188；)，时间窗口左闭右开，右开的时间其实和水位线的时间是一样的，因为当前 的水位线时间的数据是不能处理的，但有些窗口不是左闭右开。
大数据——Flink 时间语义
Vicky_Tang
08-26 1万+
目录 一、时间语义 1.1 三种时间概念 1.1.1 ProcessTime 在代码中的使用 1.1.2 EventTime 在代码中的使用 1.1.3 关于窗口起始时间的计算值 二、对事件的处理 2.1 有序事件 2.2 乱序事件 2.3 指定 Timestamps 与生成 Watermarks 2.4 使用WatermarkStrategy 工具类指定时间戳和Watermark 2.5 自定义指定 Timestamps 和 Watermarks 2.6 对迟到数据的处理 ...
Flink实战三_时间语义
core815的专栏
01-22 1633
Flink实战之时间语义
Flink 时间语义
qq_27242695的博客
06-23 373
Flink 时间语义 时间语义介绍 Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器 相关，默认的时间属性就是 Processing Time。 使用 在 Flink 的流式处理中，绝大部分的业务都会使用 eventTime
Flink时间语义
weixin_43918355的博客
06-29 651
Event Time: 事件创建的时间, 每一条数据在它发生地产生的时间 Ingestion(摄入) Time: 数据进入Flink(data source)的时间 Processing Time: 执行操作算子的本地系统时间, 与机器下相关, 这个才是window算子执行的时间 ...
Flink Window机制与watermark水位线
忄凝^的博客
09-06 1281
这里目录标题1.简介2、Flink 搭建3、Flink 运行架构4、程序与数据流（DataFlow）5、Flink 流处理API6、Window 窗口机制6.1、策略6.2、类型6.3、Windows API6.3.1. 滚动窗口(Tumbling Window)6.3.2. 滑动窗口(Sliding Window)6.3.3. 会话窗口（session windown）6.3.4. 全局窗口(Global Windows)6.4、 window窗口聚合函数6.4.1. 增量聚合函数6.4.2. 全量窗口函
flink 时间语义、水位线（Watermark）、生成水位线、水位线的传递
热门推荐
不是一枚开发
06-03 7万+
  在flink中，当希望对数据按照时间窗口来进行收集计算时，时间的衡量标准就非常重要   如图：在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游的转换算子（窗口算子）传递，最终由窗口算子进行计算处理。   在这个过程中，有两个非常重要的时间点：一个是数据产生的时间，把它叫作（Event Time）；另一个是数据真正被处理的时刻，叫作（Processing Time）;窗口操作以那种时间作为衡量标准，就是所谓的（Notion
Flink中水位线Watermark
weixin_40659514的博客
11-09 1364
flink的watermark介绍
【Flink】Flink时间语义详解
pcx171的博客
02-15 2459
本文首先介绍 Flink 的三种时间语义（Event Time、Processing Time 和 Ingestion Time），然后详细介绍 Flink-watermark 机制。
Flink之时间语义
weixin_45650737的博客
04-06 219
1.Flink中的时间语义 2.设置Event Time：事件创建的时间：可以从日志数据的时间戳中提取； Ingestion Time:数据进入flink的时间 Processing Time :执行操作算子的本地系统时间，与机器无关 默认时间 3.水位线（Watermark） 4.watermark的传递，引入和设定 ...
Flink基础04-Flink中的时间语义和watermark
渐宽阁读书小弟
03-06 619
目录： Flink中的时间语义 设置Event Time 水位线(Watermark) watermark的传递、引入和设定 Flink中的时间语义 Event Time : 事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器有关 Event Time 可以从日志数据的时间戳(timestamp)中提取 设置...
Flink时间语义 | 大数据技术
小知识吖
05-06 1553
Flink中，时间通常分为三类EventTime:事件(数据)时间,是事件/数据真真正正发生时/产生时的时间IngestionTime:摄入时间,是事件/数据到达流处理系统的时间ProcessingTime:处理时间,是事件/数据被处理/计算时的系统的时间Flink的三种时间语义中，处理时间和摄入时间都可以不用设置Watermark。如果我们要使用事件时间Event Time语义，以下两项配置缺一不可
【Flink】【第七章 】时间语义 & WaterMark
weixin_43589563的博客
01-15 1561
时间语义 & WaterMark一、Flink中的时间语义1. 三种时间语义2.时间语义的使用3.事件时间的功能Watermark1. 数据乱序2. waterMark的提出3. waterMark生成规则4. WaterMark的特点5. waterMark的作用6. waterMark生成演示7. 如何在代码中引入waterMark8. waterMark分配器（1）周期性watermark戳提取器（1.1）有序时间戳提取器（1.2） 乱序提取器（2）断点式watermark戳提取器9. 乱序数
Flink 学习五 Flink 时间语义
weixin_44244088的博客
06-20 1904
flink 里面的时间语义,相关基础概念的解释,waternark 的基础原理
(17) flink时间语义
张不帅
12-10 2142
文章目录时间（Time）语义 时间（Time）语义 Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器相关 一般设置时间戳为Event Time,默认是Processing Time 在代码中设置 Event Time 具体的时间，还需要从数据中提取时间戳（timestamp）,分配时...
Flink的时间语义Time与水位线WaterMark理解与使用
星空的风fly
09-13 1841
一、时间语义 流式数据处理，最大的特点是数据上具有时间的属性特征，Flink 根据时间产生的位置不同，将时间分为三种时间语义 Event Time：事件产生的时间，它通常由事件中的时间戳描述 Ingestion Time：事件进入 Flink 的时间 Processing Time：事件被处理时当前系统的时间 在Flink中默认情况下使用是ProcessTime时间语义，如果用户选择使用EventTime或者IngestionTime语义，则需要在创建的StreamExecutionEnviron
Flink学习笔记之流处理基础
风景旧曾谙
08-29 417
流处理基础 流编程简介 数据流图（DataFlow Graph） 数据流程序描述了数据如何在算子之间流动。数据流程序通常表示为有向图，其中节点称为算子，用来表示计算。算子是数据流程序的基本功能单元。 如上图所示，数据流图被称为逻辑流图。为了执行一个数据流程序，Flink会将逻辑流图转换为物理数据流图。 数据并行和任务并行 我们可以以不同的方式利用数据流图中的并行性： 我们可以对输入数据进行分区...
详解 Flink 的时间语义和 watermark
最新发布
weixin_44480009的博客
06-08 1323
Watermark 是一种使用延迟触发 window 执行来处理乱序数据的机制原理：当设置 Watermark = t 时 (即延迟时长为 t)，则 Flink 每一次都会获取已经到达的数据中的最大的 EventTime，然后判断 maxEventTime - t 是否等于某一个窗口的触发时间，如果相等则认为属于这个窗口的所有数据都已经到达，这个窗口被触发执行关闭，也可能存在数据丢失。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值