【Flink】复杂事件处理CEP底层实现（有限状态机）和应用

一 Flink CEP简介

1 什么是复杂事件处理CEP

一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。

特征有如下几点：

• 目标：从有序的简单事件流中发现一些高阶特征。
• 输入：一个或多个由简单事件构成的事件流。
• 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件。
• 输出：满足规则的复杂事件。

如下图中，将输入流中的元素，按照连续两个事件，且第一个元素为正方形，第二个元素为三角形进行过滤：

CEP用于分析低延迟、频繁产生的不同来源的事件流。CEP可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系，以接近实时或准实时的获得通知并阻止一些行为。

CEP支持在流上进行模式匹配，根据模式的条件不同，分为连续的条件或不连续的条件；模式的条件允许有时间的限制，当在条件范围内没有达到满足的条件时，会导致模式匹配超时。

看起来很简单，但是它有很多不同的功能：

• 输入的流数据，尽快产生结果
• 在2个event流上，基于时间进行聚合类的计算
• 提供实时/准实时的警告和通知
• 在多样的数据源中产生关联并分析模式
• 高吞吐、低延迟的处理

市场上有多种CEP的解决方案，例如Spark、Samza、Beam等，但他们都没有提供专门的library支持。但是Flink提供了专门的CEP library。

2 Flink CEP

Flink为CEP提供了专门的Flink CEP library，它包含如下组件：

• Event Stream
• pattern定义
• pattern检测
• 生成Alert

首先，开发人员要在DataStream流上定义出模式条件，之后Flink CEP引擎进行模式检测，必要时生成告警。

（1）导入依赖

为了使用Flink CEP，需要导入依赖：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-cep_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

（2）代码编写

使用API完成检测用户连续三次登录失败的需求

public static void main(String[] args) throws Exception{
   
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);

    SingleOutputStreamOperator<day06.Example3.Event> stream = env
            .fromElements(
                    new day06.Example3.Event("user-1", "log-fail", 1000L),
                    new day06.Example3.Event("user-1", "log-fail", 2000L),
                    new day06.Example3.Event("user-2", "log-succ", 3000L),
                    new day06.Example3.Event("user-1", "log-fail", 4000L),
                    new day06.Example3.Event("user-1", "log-fail", 5000L)
            )
            .assignTimestampsAndWatermarks(WatermarkStrategy.<day06.Example3.Event>forMonotonousTimestamps()
                    .withTimestampAssigner(new SerializableTimestampAssigner<day06.Example3.Event>() {
   
                        @Override
                        public long extractTimestamp(day06.Example3.Event element, long recordTimestamp) {
   
                            return element.timestamp;
                        }
                    }));

    // 定义模板(org.apache.flink.cep.pattern.Pattern)
    Pattern<day06.Example3.Event, day06.Example3.Event> pattern = Pattern
            .<day06.Example3.Event>begin("first")   // 给第一个匹配事件起名
            .where(new SimpleCondition<day06.Example3.Event>() {
   
                @Override
                public boolean filter(day06.Example3.Event value) throws Exception {
   
                    return value.eventType.equals("log-fail");
                }
            })
            .next("second")  //next表示严格紧邻
            .where(new SimpleCondition<day06.Example3.Event>() {
   
                @Override
                public boolean filter(day06.Example3.Event value) throws Exception {
   
                    return value.eventType.equals