flink cep demo

最新推荐文章于 2024-10-22 07:45:00 发布
最新推荐文章于 2024-10-22 07:45:00 发布
阅读量2.3k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： flink 文章标签： flink cep demo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012447842/article/details/90898334
本文介绍如何使用Flink的复杂事件处理(CEP)库来检测用户在短时间内连续三次登录失败的情况，通过具体代码示例展示了如何配置模式匹配，以识别这种特定的事件序列。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 Flink CEP 是 Flink 的复杂处理库。它允许用户快速检测无尽数据流中的复杂模式。不过 Flink CEP 仅可用于通过 DataStream API处理。 参考细说Flink CEP，我们知道Flink 的每个模式包含多个状态，模式匹配的过程就是状态转换的过程，每个状态(state)可以理解成由Pattern构成，为了从当前的状态转换成下一个状态，用户可以在Pattern上指定条件，用于状态的过滤和转换。

 

flink cep demo：
 场景： 获取用户实时登录的信息， 检测出在3秒内重复登录三次失败的用户， 并推送一条告警信息


用户登录的数据:

            用户, IP, Type

new LoginEvent("小明","192.168.0.1","fail"),
new LoginEvent("小明","192.168.0.2","fail"),
new LoginEvent("小王","192.168.10,11","fail"),
new LoginEvent("小王","192.168.10,12","fail"),
new LoginEvent("小明","192.168.0.3","fail"),
new LoginEvent("小明","192.168.0.4","fail"),
new LoginEvent("小王","192.168.10,10","success")

 

预期产生告警的信息：

new LoginEvent("小明","192.168.0.3","fail"),
new LoginEvent("小明","192.168.0.4","fail"),

FlinkLoginFail.java

package com.flink.UserLoginAttack;

import com.flink.UserLoginAttack.entity.LoginEvent;

import org.apache.flink.cep.CEP;
import org.apache.flink.cep.PatternSelectFunction;
import org.apache.flink.cep.PatternStream;
import org.apache.flink.cep.pattern.Pattern;
import org.apache.flink.cep.pattern.conditions.IterativeCondition;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Arrays;
import java.util.List;
import java.util.Map;

public class FlinkLoginFail {

    private static final Logger LOGGER = LoggerFactory.getLogger(FlinkLoginFail.class);

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStream<LoginEvent> loginEventStream = env.fromCollection(Arrays.asList(
                new LoginEvent("小明","192.168.0.1","fail"),
                new LoginEvent("小明","192.168.0.2","fail"),
                new LoginEvent("小王","192.168.10,11","fail"),
                new LoginEvent("小王","192.168.10,12","fail"),
                new LoginEvent("小明","192.168.0.3","fail"),
                new LoginEvent("小明","192.168.0.4","fail"),
                new LoginEvent("小王","192.168.10,10","success")
        ));

        // 在3秒 内重复登录了三次, 则产生告警
        Pattern<LoginEvent, LoginEvent> loginFailPattern = Pattern.<LoginEvent>
                begin("first")
                .where(new IterativeCondition<LoginEvent>() {
                    @Override
                    public boolean filter(LoginEvent loginEvent, Context context) throws Exception {
                        System.out.println("first: " + loginEvent);
                        return loginEvent.getType().equals("fail");
                    }
                })
                .next("second")
                .where(new IterativeCondition<LoginEvent>() {
                    @Override
                    public boolean filter(LoginEvent loginEvent, Context context) throws Exception {
                        System.out.println("second: " + loginEvent);
                        return loginEvent.getType().equals("fail");
                    }
                })
                .next("three")
                .where(new IterativeCondition<LoginEvent>() {
                    @Override
                    public boolean filter(LoginEvent loginEvent, Context context) throws Exception {
                        System.out.println("three: " + loginEvent);
                        return loginEvent.getType().equals("fail");
                    }
                })
                .within(Time.seconds(3));

        // 根据用户id分组，以便可以锁定用户IP，cep模式匹配
        PatternStream<LoginEvent> patternStream = CEP.pattern(
                loginEventStream.keyBy(LoginEvent::getUserId),
                loginFailPattern);

        // 获取重复登录三次失败的用户信息
        DataStream<String> loginFailDataStream = patternStream.select(
                new PatternSelectFunction<LoginEvent, String>() {
                    @Override
                    public String select(Map<String, List<LoginEvent>> pattern) throws Exception {
                        List<LoginEvent> second = pattern.get("three");
                        return  second.get(0).getUserId() + ", "+ second.get(0).getIp() + ", "+ second.get(0).getType();
                    }
                }
        );

        // 打印告警用户
        loginFailDataStream.print();
        env.execute();
        LOGGER.info("finish");
    }
}

LoginEvent.java
package com.flink.UserLoginAttack.entity;

public class LoginEvent {
    private String userId;
    private String ip;
    private String type;

    public LoginEvent(String userId, String ip, String type) {
        this.userId = userId;
        this.ip = ip;
        this.type = type;
    }

    public String getUserId() {
        return userId;
    }
    public String getType() {
        return type;
    }
    public String getIp() {
        return ip;
    }

    @Override
    public String toString() {
        return "LoginEvent{" +
                "userId='" + userId + '\'' +
                ", type='" + type + '\'' +
                ", ip='" + ip + '\'' +
                '}';
    }
}

结果显示

first: LoginEvent{userId='小明', type='fail', ip='192.168.0.1'}
second: LoginEvent{userId='小明', type='fail', ip='192.168.0.2'}
first: LoginEvent{userId='小明', type='fail', ip='192.168.0.2'}
first: LoginEvent{userId='小王', type='fail', ip='192.168.10,11'}
second: LoginEvent{userId='小王', type='fail', ip='192.168.10,12'}
first: LoginEvent{userId='小王', type='fail', ip='192.168.10,12'}
three: LoginEvent{userId='小明', type='fail', ip='192.168.0.3'}
second: LoginEvent{userId='小明', type='fail', ip='192.168.0.3'}
first: LoginEvent{userId='小明', type='fail', ip='192.168.0.3'}
1> 小明, 192.168.0.3, fail
three: LoginEvent{userId='小明', type='fail', ip='192.168.0.4'}
second: LoginEvent{userId='小明', type='fail', ip='192.168.0.4'}
first: LoginEvent{userId='小明', type='fail', ip='192.168.0.4'}
1> 小明, 192.168.0.4, fail
three: LoginEvent{userId='小王', type='success', ip='192.168.10,10'}
second: LoginEvent{userId='小王', type='success', ip='192.168.10,10'}
first: LoginEvent{userId='小王', type='success', ip='192.168.10,10'}

参考：

https://www.jianshu.com/p/4aef81468b6d

https://www.jianshu.com/p/d4d7edc86497?utm_source=oschina-app

 

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>FlinkDataHandle</groupId>
    <artifactId>FlinkDataHandle</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>FlinkDataHandle</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <scala.version>2.11.11</scala.version>
        <scala.compat.version>2.11</scala.compat.version>
        <spark.version>2.2.0</spark.version>
        <c3p0.version>0.9.1.1</c3p0.version>
        <mysql.version>5.1.26</mysql.version>
        <fastjson.version>1.1.41</fastjson.version>
        <hbase.version>1.2.0</hbase.version>
        <flink.version>1.4.2</flink.version>
    </properties>

    <repositories>
        <!-- 		指定该项目可以从哪些地方下载依赖包  -->
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
        <repository>
            <id>jboss</id>
            <url>http://repository.jboss.org/nexus/content/groups/public</url>
        </repository>
    </repositories>

    <dependencies>
            <!-- This dependency provides the implementation of compiler "jdt": -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-cep_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-twitter_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.10_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hbase_${scala.compat.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.1.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>${hbase.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>${hbase.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-pool2</artifactId>
            <version>2.4.2</version>
        </dependency>
        <dependency>
            <groupId>org.json</groupId>
            <artifactId>json</artifactId>
            <version>20180130</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.25</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.eclipse.paho</groupId>
            <artifactId>org.eclipse.paho.client.mqttv3</artifactId>
            <version>1.0.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-rabbitmq_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.fusesource.mqtt-client</groupId>
            <artifactId>mqtt-client</artifactId>
            <version>1.12</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table_2.11</artifactId>
            <version>1.7.2</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.35</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-dbcp2</artifactId>
            <version>2.1.1</version>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/java</sourceDirectory>
        <testSourceDirectory>src/test/java</testSourceDirectory>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>exec-maven-plugin</artifactId>
                <version>1.2.1</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>exec</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <executable>java</executable>
                    <includeProjectDependencies>true</includeProjectDependencies>
                    <includePluginDependencies>false</includePluginDependencies>
                    <classpathScope>compile</classpathScope>
                    <mainClass>com.stars</mainClass>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

        </plugins>
    </build>
</project>

 

Flink教程(3)-快速入门案例
鸟哥哥的专栏
08-25 822
Flink教程，Flink快速入门案例
Flink CEP基础学习与使用04----实际业务场景开发案例demo
qq_31866793的博客
07-02 1385
目标：针对日志，做场景匹配demo，这个demo先发出来吧，感觉乱七八糟的，等过一段时间再思考一下怎么写，这个写的太乱了 import com.alibaba.fastjson.{JSON, JSONObject} import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flin...
Flink CEP demo 实战
lvwenyuan_1的博客
06-21 3050
简介 flink cep 是flink的复杂处理库。主要用来筛选，流式数据中，符合条件的某个系列动作。譬如筛选出连续的告警，或者是用户生成订单后，规定时间内没有完成支付等。 一般cep都用于KeyedStream。 一般开发流程 生成一个datastream或者KeyedStream 定义一组规则 将这组规则应用于流，生成PatternStream 将生成...
java flink（二十六） 实战之电商黑名单过滤 Flink CEP编程实现、什么是CEP、CEP组合模式demo、CEP循环模式demo
qq_40771567的博客
05-21 767
什么是CEP： 1、复杂事件处理 2、Flink中实现复杂事件处理库 3、CEP允许在无休止的事件中检测事件模式，让我们有机会掌握数据中的重要部分 4、一个或多个由简单事件构成的事件通过一定的规则匹配，然后输出用户想要的数据。 CEP API: begin 第一个事件定义 where 条件 next 后一个紧跟着事件定义 subtype 子类型判断 followedBy 后边的时间 不一定紧跟着 CEP 个体模式： CEP 模式序列 CEP 超时处理 ...
Flink 开发Demo
longxibo的博客
08-14 357
Flink Demo开发
Flink动态CEP快速入门
soso1968的博客
10-22 1742
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。
Flink CEP学习线路指导1：Flink CEP入门
01-07
问题导读 1.Flink CEP是什么？2.Flink CEP可以做哪些事情？3.Flink CEP和流式处理有什么区别？...CEP在Flink未产生以前，已经有CEP，并不是有了Flink才有CEP，我们这里重点是讲Flink CEP。CEP本身的含义
Flink CEP结合案例详解
一个数据小开发的博客
02-19 3102
1、介绍 FlinkCEP是在Flink之上实现的复杂事件处理(CEP)库。它允许您在无穷无尽的事件流中检测事件模式，使您有机会掌握数据中重要的内容。通常会用来做一些用户操作APP的日志风控策略等多种复杂事件，下面详细以用户连续10s内登陆失败超过3次告警为需求，进行全面讲解。 1.1、整体需求数据详解图 ...
基于Flinkcep-1.11.2 动态规则修改实践
qq_31866793的博客
12-10 2864
1，事先说明 这个代码搞出来说白了就是在大佬的代码参考下完成的，之前就一直想搞cep规则动态修改，苦于对cep的源码不熟悉，没法下手。 之前有个大佬搞过基于flink-cep 1.8版本的动态规则修改。 后来有个大佬搞过基于flink-cep 1.1.0的。 我看代码的逻辑是后者更复杂，前者更好理解，后者需要修改的地方太多，后来我仔细思考之后发现，还是前者效果更好一些。 因为可以结合配置流，或者数据里面获取新的规则，实现规则的自动更新，后者可能需要定时获取规则比对是否发现修改。 配置流这个目..
Apache Flink官方文档-Flink CEP
weixin_34331102的博客
03-12 1842
原文链接 Flink CEP 0. 本文概述简介 FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。 它允许你在×××的事件流中检测事件模式，让你有机会掌握数据中重要的事项。 本文描述了Flink CEP中可用的API调用。 首先介绍Pattern API，它允许你指定要在流中检测的模式，然后介绍如何检测匹配事件序列并对其进行操作。 然后，我们将介绍CEP库在处理事件时间延迟时所做...
Flink CEP简单示例----对用户访问页面顺序检测
Widsom的博客
05-24 2355
Flink CEP简单示例----对用户访问页面顺序检测 CEP是flink早期推出的一个的库，是基于一些规则模型，检测异常行为。比如检测反爬虫，或检测优惠活动褥羊毛行为等。 下面简单介绍一下项目背景，使用CEP做模式检测。 需求： 因公司针对会员，发放优惠券活动，因防止羊毛党褥羊毛，通过Flink CEP进行异常检测。检测规则，如果同一个设备号在5分钟内顺序访问login页面–>my页面–...
FlinkCEP - Flink的复杂事件处理 - 简单案例
京河小蚁的博客
06-18 628
下面两个pattern： 1. 5s内点击浏览了商品3次 2. 3秒内先点击浏览商品，然后将商品加入收藏 更多关于flink cep内容请移步到https://github.com/DeveloperZJQ/learning-flink/blob/master/flink-learning-base/src/main/java/com/flink/cep/CEPDemo1.java.........
Flink 实践教程-进阶（6）：CEP 复杂事件处理
cloudbigdata的博客
01-13 1249
使用 Flink CEP 完成某些特性事件的捕获和处理
flink 1.10.1 cep java版本案例（订单超时未支付）
liaomingwu的专栏
02-10 714
flink 1.10.1 cep java版本案例（订单超时未支付）
flink 1.10.1 cep java版本案例（登录连续失败检测）
liaomingwu的专栏
02-10 1229
flink 1.10.1 cep java版本案例（登录连续失败检测）
demo flink写入kafka_Flink流计算编程--Kafka+Flink整合demo
weixin_42177768的博客
01-14 594
1、简介1.1、Kafka Consumer提供了2种API：high level与low level(SimpleConsumer)。(1)high level consumer的API较为简单，不需要关心offset、partition、broker等信息，kafka会自动读取zookeeper中该consumer group的last offset。(2)low level consumer...
flink 1.10.1 cep java版本实现复杂事件模式匹配
liaomingwu的专栏
02-08 931
flink 1.10.1 cep java版本实现复杂事件模式匹配
Apache Flink：使用Apache Kafka作为DataSource的简单demo
编程学习者的博客
05-23 414
1. 声明 当前内容主要为测试和使用Apache Kafka作为Flink的DataSource的最基本的demo 当前内容主要参考：Flink官方文档，Kafka官方文档 其中使用kafka发送消息的参考：博文 当前内容为 使用Apache Flink接收Kafka的topic中的消息作为DataSource 简单的print当前接收的消息 2. 基本pom依赖 核心为：flink-connector-kafka_2.12 <properties> <project.build.
Flink实战-恶意登录行为检测-CEP
oMaFei的博客
01-25 1120
FlinkCEP是在Flink上层实现的复杂事件处理库。 它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。 官网文档： https://ci.apache.org/projects/flink/flink-docs-stable/zh/dev/libs/cep.html 这里给个demo，对比下不用cep和用cep的区别， 实现目标： 从目标csv中读取...
flink cep
最新发布
03-08
### Flink CEP 使用指南 #### 什么是Flink CEP？ 在实时数据处理领域，Apache Flink 成为了一个重要开源流处理框架[^1]。Flink 不仅提供高吞吐量、低延迟的数据处理能力，还特别支持复杂事件处理（CEP）。Flink ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

千里风雪

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值