flink Watermark 水印原理

关注

VIP免费原创最新推荐文章于 2026-09-15 09:49:52 发布 2.7k 阅读 AI 写同款· GEO 优化 ›

flink-watermark（水印）一、什么是flink-watermark（水印） 1.1官方字面介绍 Flink-watermark（水印）的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳。当时间戳为T的水印出现时，表示事件时间t <= T的数据都已经到达，即水印后面应该只能流入事件时间t > T的数据。也就是说，水印是Flink判断迟到数据的标准，同时也是窗口触发的标记。 1.2代码层面 public final class Watermark extends StreamElement 阅读详情

org.apache.flink.streaming.api.functions 核心在streaming包内

一、DataStream 入口

1.AssignerWithPeriodicWatermarks

周期生产水印，在原有流基础上,包一层定时生产水印的程序

	public SingleOutputStreamOperator<T> assignTimestampsAndWatermarks(
			AssignerWithPeriodicWatermarks<T> timestampAndWatermarkAssigner) {

		TimestampsAndPeriodicWatermarksOperator<T> operator =
				new TimestampsAndPeriodicWatermarksOperator<>        
                (timestampAndWatermarkAssigner);

		return transform("Timestamps/Watermarks",     
                 getTransformation().getOutputType(), operator)
				.setParallelism(getTransformation().getParallelism());
	}

2.AssignerWithPunctuatedWatermarks

每一个元素处理时,都要判断是否要生产水印,即是否生产水印取决于处理的数据。

比如遇到xx结尾的元素要生产一个水印

	public SingleOutputStreamOperator<T> assignTimestampsAndWatermarks(
			AssignerWithPunctuatedWatermarks<T> timesta

最低0.47元/天解锁文章

标签

#flink

Flink原理,实战与性能优化读书笔记(三) 三种时间&水位线机制第四章时间概念与Watermark flink根据时间产生的位置不同，把时间区分为三种时间概念事件生成时间(event Time) 数据从终端产生，或者从系统中产生的时间事件接入时间(Ingestion Time) 数据经过中间件传入到flink之后，在dataSource中接入的时候会生成时间接入时间。事件处理时间(Processing Time) 数据在各个算子实例执行转换操作过程中... 阅读详情

flink Watermark 水印原理

相关推荐