flink 1.11定义watermark 水位线水印新方法替代过时assignTimestampsAndWatermarks方法

BigData-0

于 2020-08-13 21:48:54 发布

阅读量6.1k

点赞数 15

文章标签： flink

Author:baiyun ,Email:mitbaiyun@163.com

本文链接：https://blog.youkuaiyun.com/JavaBigData/article/details/107992268

版权

本文介绍如何使用Apache Flink的WatermarkStrategy和SerializableTimestampAssigner为数据流分配时间戳并处理乱序数据。通过示例代码，展示了如何设置3秒的乱序容忍度，并基于元素的第一个字段(Long类型)提取时间戳。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

mapStream
.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(3))
.withTimestampAssigner(new SerializableTimestampAssigner[(Long, student)] {
override def extractTimestamp(element: (Long, student), recordTimestamp: Long): Long = element._1
}
)

补充 2020年9月10日21:53:23 ，喜欢的话点个赞喔,大家的点赞就是我最大的动力!

import java.time.Duration
    import org.apache.flink.api.common.eventtime.{SerializableTimestampAssigner, WatermarkStrategy}
    val newDS= stream
      .assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(3))
        .withTimestampAssigner(new SerializableTimestampAssigner[(Long,  String,String)] {
          override def extractTimestamp(element: (Long,  String,String), recordTimestamp: Long): Long = element._1
        }
        ))