11、Flink里的ProcessFunction API（底层API）

---

前言

       之前学习过的转换算子 没有办法访问事件的时间戳信息和水位线信息，但是某些情况下，却又需要访问到这些信息。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件事件。
       基于此，DataStream API提供了一系列的Low-Level转换算子，可以访问时间戳、水位线以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑（使用之前的window函数和转换算子无法实现）。例如，Flink-SQL就是使用Process Function实现的。
       Flink提供了8个Process Function：
       ProcessFunction
       KeyedProcessFunction
       CoProcessFunction
       ProcessJoinFunction
       BroadcastProcessFunction
       KeyedBroadcastProcessFunction
       ProcessWindowFunction
       ProcessAllWindowFunction

一、KeyedProcessFunction

这是keyBy之后的ProcessFunction
KeyedProcessFunction 用来操作 KeyedStreamKeyedProcessFunction 会处理流的每一个元素，输出为 0 个、1 个或者多个元素。所有的 Process Function 都继承自 RichFunction 接口，所以都有open()、close()getRuntimeContext()等方法。而KeyedProcessFunction<KEY,IN, OUT> 还额外提供了两个方法:

1.processElement

processElement(I value, Context ctx, Collector out)：流中的每一个元素都会调用这个方法，调用结果将会放在 Collector 数据类型中输出。Context 可以访问元素的时间戳，元素的 key，以及 TimerService 时间服务。Context 还可以将结果输出到别的流 (side outputs)。

2.onTimer

onTimer(long timestamp, OnTimerContext ctx, Collector out) 是一个回调函数。当之前注册的定时器触发时调用。参数 timestamp 为定时器所设定的触发的时间戳。Collector 为输出结果的集合。OnTimerContext 和processElement 的 Context 参数一样，提供了上下文的一些信息，例如定时器触发的时间信息(事件时间或者处理时间)。

3.时间服务和定时器

Context 和 OnTimerContext 所持有的 TimerService 对象拥有以下方法:
1）currentProcessingTime() 返回当前处理时间
2）currentWatermark() 返回当前水位线的时间戳
3）registerProcessingTimeTimer(long time) 会注册当前 key 的 processing time 的 timer。 当 processing time 到达定时时间时，触发 timer。
4）registerEventTimeTimer(long time) 会注册当前 key 的 event time timer。当水位线大于等于定时器注册的时间时，触发定时器执行回调函数onTimer。
5）deleteProcessingTimeTimer(long time) 删除之前注册处理时间定时器。如果没有这个时间戳的定时器，则不执行。
6）deleteEventTimeTimer(long time) 删除之前注册的事件时间定时器，如果没有此时间戳的定时器，则不执行。

当定时器 timer 触发时，执行回调函数 onTimer()processElement() 方法和 onTimer()方法是同步（不是异步）方法，这样可以避免并发访问和操作状态。

针对每一个 key 和 timestamp，只能注册一个定期器。也就是说，每一个 key 可以注册多个定时器，但在每一个时间戳只能注册一个定时器。KeyedProcessFunction 默认将所有定时器的时间戳放在一个优先队列中。在 Flink 做检查点操作时，定时器也会被保存到状态后端中。

4.测试代码

代码如下：

    //测试keyedProcessFunction，先分组然后自定义处理
    mapResult.keyBy("id")
                    .process(new MyProcess())
                            .print();


    public static class MyProcess extends KeyedProcessFunction<Tuple,SensorReading,Integer>{
   

        ValueState<Long> valueState;

        @Override
        public void open(Configuration parameters) throws Exception {
   
            valueState= getRuntimeContext().getState(new ValueStateDescriptor<Long>("ts-timer",Long.class));
        }

        @Override
        public void processElement(SensorReading sensorReading, KeyedProcessFunction<Tuple, SensorReading, Integer>.Context context, Collector<Integer>