大数据_Flink_Java版_数据处理_Watermark(7)在代码中的设置---Flink工作笔记0055

最新推荐文章于 2023-05-16 22:18:56 发布
最新推荐文章于 2023-05-16 22:18:56 发布
阅读量409 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 测试&部署&运维实施 文章标签： flink 大数据 big data 架构 java
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/123482595
本文详细介绍了Flink中处理大数据时如何设置Watermark，以解决数据乱序问题。通过分析`BoundedOutOfOrdernessTimestampExtractor`和`AscendingTimestampExtractor`的使用及其底层原理，阐述了周期性和断点式Watermark的生成方式，并提供了自定义Watermark的实现示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们来看代码,可以看到,首先,我们说这个dataStream,这里,数据流,我们可以直接

.assignTimestampsAndWatermarks() 这里设置waterMark

 

首先我们去看可以看到参数中,这里是AssignerWithPeriodicWatermarks这个参数.

我们可以去看一下这个参数的源码

我们去看一下这个AssignerWithPeriodicWatermarks可以看到这个是,继承至TimestampAssigner

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据_Flink_Java版_数据处理_Watermark(7)_的设定原则---Flink工作笔记0056
添柴程序猿的专栏
03-16 454
这里我们再说,waterMark设定的那个延迟的时间,设置多少合适呢? 对于有序的数据我们直接可以用升序的waterMark对于乱序的不行. 因为waterMark是整个flink中数据流动的时间,所以如果设置的延迟时间太长那么就会,收到结果的速度就很慢,如果,设置的延迟时间太短,那么就有可能得不到正确的结果,之前我们已经分析过了. 那么要设置多少合适呢? 首先应该对业务有所了解,心里大概有数,延迟是多少,还可以怎么做? 可以去测试一下实际的情况对吧,测一下设置多少合适, 还可以用机器学..
大数据_Flink_Java版_数据处理_Watermark在任务间的传递---Flink工作笔记0054
添柴程序猿的专栏
03-19 444
上一节我们说到了waterMark,这个时间数据的作用,我们知道waterMark表示在这个时间数据的,之前的数据都已经传输完了. 我们来看,我们知道在flink中,一个任务可以分为多个子任务,那么上游任务的数据,到子任务的时候, 数据我们说,如果设置了keyby那么,他分配下游子任务数据的时候,就是按照hashcode,这样分配的 对吧. 如果没有设置keyby默认是通过轮询分配的对吧. 那么如果从上游来的数据是waterMark呢?这种数据呢? 他应...
java Flink（十）窗口模式配合Watermark的使用
qq_40771567的博客
04-06 499
Watermark的基本概念 首先讲解一下Flink中的时间语义： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的 日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事 件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器 相关，默认的时间属性就是 Processing Time。 如果我们的数据出现乱序，那么此时出现一个问题，.
Flink watermark设置
硅谷工具人
02-08 224
Scala： .map(x=> JSON.parseObject(x)) .assignTimestampsAndWatermarks( WatermarkStrategy.forBoundedOutOfOrderness[JSONObject](Duration.ofSeconds(3)) .withTimes...
java Flink（三十五）Flink的watermark设置以及部分实现类
qq_40771567的博客
07-22 1096
watermark（水位线）是Flink里边的相当重要的存在，是Flink处理乱序数据的重要组成。 Flink理论上定义了三种watermark广播机制（【2种生成水印的策略】【如果生成的watermark是null，或者小于之前的watermark，则该watermark不会发往下游】）。 首先看看它的组成： AssignerWithPunctuatedWatermarks（为每条消息都会尝试生成水印） AssignerWithPeriodicWatermarks（周期性的生成水印，不会针对.
flink程序常用环境设置
weixin_41197407的博客
07-21 1138
public class FlinkUtils { public static StreamExecutionEnvironment getEnv(){ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //设置全局并行度，如果不设置，则默认为配置文件中配置的平行度。优先级：代码>配置文件 // env.setParall.
大数据_Flink_Java版_数据处理_Watermark_概念和原理---Flink工作笔记0052
添柴程序猿的专栏
03-15 637
然后我们开始来理解,waterMark的概念,可以看到. 首先,对于正常的数据流,来说可以看到,上面,从右边到左边,是1,2,3,4,5,6...代表 这些数据,是一个个流过来的,理想的情况下,假设,1秒来一个数据,我们时间窗口是5秒的话, 那么数据是,包含开始,不包含结束.所以,这里会把1,2,3,4,放到第一个时间窗口的桶中去. 然后,第二个窗口就会放,5,6,7,8...这样,这个是正常的情况. 但是实际情况一般,数据不会,1,2,3,4,5,6....的这样按照...
大数据_Flink_Java版_数据处理_Watermark_特点和行为---Flink工作笔记0053
添柴程序猿的专栏
03-14 380
然后我们再来看这个waterMark,他怎么能保证数据,不乱序呢? 可以看到,这里我们就要知道waterMark是什么了? 可以看到waterMark是一条特殊的数据记录.实际上他就是个时间记录. 可以看到,上面方框是数据,下面的三角是数据携带的时间戳,然后2,是插入的waterMark. 这个插入的waterMark必须是单调递增的,因为waterMark是时间的数据,时间永远向前. waterMark还要和时间戳一块用,因为,要保证,数据的顺序,那么waterMark一定要和实际的数据..
flink篇——Time和watermark机制
MyNameIsWangYi的博客
08-22 817
优化方案：Flink允许跳过对齐这一步，或者说一个算子子任务不需要等待所有上游通道的Checkpoint Barrier，直接将Checkpoint Barrier广播，执行快照并继续处理后续流入的数据。为了保证数据一致性，Flink必须将那些较慢的数据流中的元素也一起快照，一旦重启，这些元素会被重新处理一遍。周期性地生成 Watermark 的生成，默认是 200ms。（1）每次进行Checkpoint前，都需要暂停处理新流入数据，然后开始执行快照，假如状态比较大，一次快照可能长达几秒甚至几分钟。
flink Watermark编程实例
qq_35514685的博客
03-02 1377
固定时间间隔的watermark生成策略： package com.ss; import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.functions.MapFunction; import org.apache
FLINK 基于1.15.2的Java开发-Watermark是怎么解决延迟数据唯一正确的生产级解决方案-目前市面上的例子都有问题
打造全国最全的AI Agent开发知识领域的博客
10-27 1359
flink的watermark目前在网上的博客的例子、说明其实没有一个是对的。很多连watermark的使用公式都错了，而这个错一直没有得到纠正。同时写的晦涩难懂，因此本人为了弥补这一块国内的空白以及apache官网这一块知识的不全便以一个生产实际例子贯穿了整个flink中最难懂的watermark知识，以供大家真正具备高级实时计算能力的学习所用
flink中通用的watermark设置代码模板（基于1.14版本）
weixin_43816721的博客
05-16 558
Flink学习
Flink 系例 之 Watermarks
不会飞的小龙人的博客
06-01 233
示例环境 示例数据源 （项目码云下载）Flink 系例 之 搭建开发环境与数据TimestampsAndWatermarks.java 打印结果 参考：Watermark 水印介绍：https://blog.csdn.net/hlp4207/article/details/90698296 官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/event_timestamps_watermarks.html
Flink - Watermark
GrassEva的博客
10-11 662
给datastream添加watermark的方法 assignTimestampsAndWatermarks(WatermarkStrategy<T> watermarkStrategy) WatermarkStrategy(watermark策略)是一个interface，包含一个方法 WatermarkGenerator<T> createWatermarkGenerator(Context var1); 这个方法需要返回的WatermarkGenerator(wa
Flink中Watermark定时生成源码分析
张普的专栏
02-03 1670
点击箭头处“蓝色字”，关注我们哦！！watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerW...
JVM参数
javalj的博客
10-14 271
XX:+ 启用选项 -XX:-不启用选项 -XX:= -XX:= 堆设置 -Xms :初始堆大小 -Xmx :最大堆大小 -Xmn：新生代大小。通常为 Xmx 的 1/3 或 1/4。新生代 = Eden + 2 个 Survivor 空间。实际可用空间为 = Eden + 1 个 Survivor，即 90% -XX:NewSize=n :设置年轻代大小 -XX:NewRatio=n: 设置年轻...
flink生成Watermark之assignTimestampsAndWatermarks
小程序猿
11-22 1万+
在DataStreamSource对象上调用assignTimestampsAndWatermarks方法，自定义Timestamp提取规则和Watermark生成规则。 文章目录基于AssignerWithPeriodicWatermarks接口 基于AssignerWithPeriodicWatermarks接口 AssignerWithPeriodicWatermarks接口扩展自TimestampAssigner类，其中extractTimestamp方法定义抽取Timestamp，getCurre
flink assignTimestampsAndWatermarks两种水印生成方式 源码分析
热门推荐
weixin_40809627的博客
07-28 1万+
时间戳和水印的时间生成方式一般有一下两种方式 1、BoundedOutOfOrdernessTimestampExtractor AscendingTimestampExtractor
Flink系列：assignTimestampsAndWatermarks使用demo
NIO4444
05-05 3603
assignTimestampsAndWatermarks 指派时间戳，并生成WaterMark 相关demo Flink系列：事件Time时间乱序到达处理方法https://blog.csdn.net/VIP099/article/details/107048139 Flink系列：事件时间乱序到达处理完整Demo例子https://blog.csdn.net/VIP099/article/details/107142404 Flink系列：join算子的使用方法h...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值