Flink Process Function

前言

转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。
基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如，Flink SQL就是使用Process Function实现的。
Flink提供了8个Process Function：

• ProcessFunction
• KeyedProcessFunction
• CoProcessFunction
• ProcessJoinFunction
• BroadcastProcessFunction
• KeyedBroadcastProcessFunction
• ProcessWindowFunction
• ProcessAllWindowFunction

Flink Process Function 主要作用 处理流的数据、注册使用定时器、根据业务把部分数据输出到侧输出流（SideOutput）、对connectedStream做处理
下面通过KeyedProcessFunction 来实现处理流中的元素和注册定时器调用定时器；ProcessFunction来把需要的数据输出到侧输出流；使用CoProcessFunction实现两个流connect后并做以其中一个流做流开关

---

KeyedProcessFunction 处理流中的元素和注册定时器调用定时器

---

KeyedProcessFunction 类的介绍和结构分析

KeyedProcessFunction用来操作KeyedStream。
KeyedProcessFunction会处理流的每一个元素，输出为0个、1个或者多个元素。
所有的Process Function都继承自RichFunction接口，所以都有open()、close()和getRuntimeContext()等方法。

KeyedProcessFunction[KEY, IN, OUT]提供了两个方法:

• processElement(v: IN, ctx: Context, out: Collector[OUT]), 流中的每一个元素都会调用这个方法，调用结果将会放在Collector数据类型中输出。每次对该函数的调用processElement( )都会得到一个Context对象，Context可以访问元素的时间戳，元素的key，以及TimerService时间服务。TimerService可以为将来event- /process-time 注册回调。Context还可以将结果输出到别的流(side outputs)。
• onTimer(timestamp: Long, ctx: OnTimerContext, out: Collector[OUT])是一个回调函数。当当前watermark前进到计时器的时间戳时或超过计时器的时间戳时，调用该方法。参数timestamp为定时器所设定的触发的时间戳。Collector为输出结果的集合。OnTimerContext和processElement的Context参数一样，提供了上下文的一些信息，例如定时器触发的时间信息(事件时间或者处理时间)。

KeyedProcessFunction[KEY, IN, OUT]提供了两个类 :

• Context
• OnTimerContext
  OnTimerContext继承于Context
  Context和OnTimerContext所持有的TimerService对象拥有以下方法:
  • currentProcessingTime(): Long 返回当前处理时间
  • currentWatermark(): Long 返回当前watermark的时间戳
  • registerProcessingTimeTimer(timestamp: Long): Unit 会注册当前key的processing time的定时器。当 processing time到达定时时间时，触发timer。
  • registerEventTimeTimer(timestamp: Long): Unit 会注册当前key的event time 定时器。当水位线大于等于定时器注册的时间时，触发定时器执行回调函数。
  • deleteProcessingTimeTimer(timestamp: Long): Unit 删除之前注册处理时间定时器。如果没有这个时间戳的定时器，则不执行。
  • deleteEventTimeTimer(timestamp: Long): Unit 删除之前注册的事件时间定时器，如果没有此时间戳的定时器，则不执行。

KeyedProcessFunction 实现注册定时器并回调onTimer()

当register的定时器timer触发时，会执行回调函数onTimer()。注意定时器timer只能在keyed streams上面使用。

下面举个例子说明KeyedProcessFunction如何操作KeyedStream，使用时间服务根据业务注册定时报警。
需求：监控温度传感器的温度值，如果温度值在一秒钟之内(processing time)连续上升，则报警。
自定义的sensorSource 传感器会300ml发送一次温度数据。一秒内一个窗口，假如是连续上升的就报警。

import com.rex.{
   SensorReading, SensorSource}
import org.apache.flink.api.common.state.ValueStateDescriptor
import org.apache.flink.api.scala.typeutils.Types
import org.apache.flink.streaming.api.functions.KeyedProcessFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.util.Collector

object TempIncreaseAlert {
   
  def main(args: Array[String]): Unit = {
   
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    val stream = env
      .addSource(new SensorSource)
      .keyBy(_.id)
      .process(new TempIncreaseAlertFunction)

    stream.print()

    env.execute()
  }

  class TempIncreaseAlertFunction extends KeyedProcessFunction[String, SensorReading