Flink-基于eventtime的时间窗口学习

原创

已于 2022-02-26 22:01:59 修改 · 1.0k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #学习 #大数据

于 2022-02-26 22:00:04 首次发布

本文介绍了如何使用Apache Flink处理来自Netcat的实时流数据，通过TumblingEventTimeWindows实现WordCount，展示了如何设置WatermarkStrategy并理解时间戳处理。

最近在学习flink的窗口的使用，在网上找了一些材料来学习，记录下学习过程中的收获。

要实现的功能：利用netcat生成流数据，并利用flink的窗口进行wordcount。

工具：mac的命令行、idea

步骤1：打开命令行窗口，输入nc -l 777，吊起输入数据的窗口。

数据例子：

1614909800,p

1614909801,p

1614909802,p

1614909790,k

1614909791,k

1614909805,a

1614909806,a

1614909805,a

1614909810,a

1614909805,a

1614909815,a

步骤2：运行flink程序

package demo;

import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windo