flink 设置空闲等待推进水位线,避免子任务上游最小的水位线迟迟未达到触发时间


1. 空闲等待

1.1 空闲等待

  多并行度的flink作业,watermark水位线的传递遵循接收到上游多个水位线时取最小往下游多个子任务发送水位线时进行广播。此时,如果有其中一个子任务没有数据,导致当前Task的水位线无法推进,窗口无法触发,需要等待上游最小的水位线达到触发时间。于是,flink添加了空闲等待的设置

1.2 withIdleness

  在设置WatermarkStrategy时,添加.withIdleness(Duration.ofSeconds(5))

        WatermarkStrategy<WaterSensor> waterSensorWatermarkStrategy = WatermarkStrategy
                //升序的watermark,没有等待时间
                .<WaterSensor>forGenerator(new WatermarkGeneratorSupplier<WaterSensor>() {
   
   
                    @Override
                    public WatermarkGenerator<WaterSensor> createWatermarkGenerator(Context context) {
   
   
                        return new MyWatermark<>(Duration.ofSeconds(3));
                    }
                })
                //指定时间戳分配器,从数据中提取时间戳
                .withTimestampAssigner(new SerializableTimestampAssigner<WaterSensor>() {
   
   
                    @Override
                    public long extractTimestamp(WaterSensor element, long recordTimestamp) {
   
   
                        System.out.println
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值