flink CEP示例

最新推荐文章于 2024-08-21 04:53:31 发布
原创 最新推荐文章于 2024-08-21 04:53:31 发布 · 1.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文通过两个示例展示了如何使用Flink的Complex Event Processing (CEP)来实现异常检测。一是监测三分钟内温度高于40度出现三次以上的情况，触发报警；二是确保订单在创建后的15分钟内完成支付，否则自动取消订单。内容包括场景介绍、异常定义、测试数据及代码实现。

CEP示例

三分钟时间内，出现三次及以上的温度高于40度就算作是异常温度，进行报警输出

  • 场景介绍

    • 现在工厂当中有大量的传感设备，用于检测机器当中的各种指标数据，例如温度，湿度，气压等，并实时上报数据到数据中心，现在需要检测，某一个传感器上报的温度数据是否发生异常。

  • 异常的定义

    • 三分钟时间内，出现三次及以上的温度高于40度就算作是异常温度，进行报警输出
  • 测试数据
传感器设备mac地址，检测机器mac地址，温度，湿度，气压，数据产生时间

00-34-5E-5F-89-A4,00-01-6C-06-A6-29,38,0.52,1.1,2020-03-02 12:20:32
00-34-5E-5F-89-A4,00-01-6C-06-A6-29,47,0.48,1.1,2020-03-02 12:20:35
00-34-5E-5F-89-A4,00-01-6C-06-A6-29,50,0.48,1.1,2020-03-02 12:20:38
00-34-5E-5F-89-A4,00-01-6C-06-A6-29,31,0.48,1.1,2020-03-02 12:20:39
00-34-5E-5F-89-A4,00-01-6C-06-A6-29,52,0.48,1.1,2020-03-02 12:20:41
00-34-5E-5F-89-A4,00-01-6C-06-A6-29,53,0.48,1.1,2020-03-02 12:20:43
00-34-5E-5F-89-A4,00-01-6C-06-A6-29,55,0.48,1.1,2020-03-02 12:20:45

代码

import java
最低0.47元/天 解锁文章
【Flink】 CEP 简单例子
一杯咖啡半杯糖的博客
03-31 1503
1、引入依赖（注意版本要和flink版本一致，例子暂用1.12版本） <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cep_2.11</artifactId> <version>1.12.7</version> </dependency> 2、定义传递类 package com.test
【Flink】Flink CEP 案例
九师兄
07-01 1296
1.概述 我们先产生一个输入流，这个输入Event流由Event对象和event time组成 那么要使用EventTime，除了指定TimeCharacteristic外，在Flink中还要assignTimestampsAndWatermarks，其中分别定义了Eventtime和WaterMark， /** * 测试结果： * {start=[Event(id=1, name=start, money=1.0)], middle=[Event(id=5, name=middle,.
Flink CEP 示例（可运行）
swing2008的专栏
02-25 1260
package com.cep import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.cep.PatternSelectFunction import org.apache.flink.cep.pattern.conditions.SimpleCondition import org.apache.flink.cep.scala.pattern.Pattern import .
Flink CEP 超时预警实现案例
leaeason的博客
09-18 3641
文章目录1. 案例-离厂超时预警 实现思路1.1 定义一个刷卡事件类1.2 定义一个事件模式（Pattern）1.3 Build pattern stream，模式匹配输出1.4 Use side output get timeout stream，获取超时输出流2. 其他可参考案例2.1 案例-订单超时统计2.2 案例-CEP 实现空气质量检测2.3 案例-Flink CEP实现超时状态监控 1. 案例-离厂超时预警 实现思路 利用Flink CEP 的实现思路，暂时没考虑其他的干扰条件。假定只刷卡 出
Flink CEP原理与代码实例讲解
AI天才研究院
06-08 990
Flink CEP原理与代码实例讲解 1.背景介绍 1.1 什么是复杂事件处理CEP 复杂事件处理(Complex Event Processing, CEP)是一种用于分析事件流的技术。它可以从多个事件源中实时检测复杂的事件模
精选资源
Flink动态CEP，来自啤酒鸭
09-19
"flink_cep"指Flink的CEP模块，"groovy"可能表示使用Groovy编程语言编写的脚本或示例，Groovy是一种简洁且强大的Java平台脚本语言，常用于Flink作业的编写。"aviator"则可能是用于表达式解析的Aviator库，这是一个轻...
Apache Flink CEP 实战
2401_85958311的博客
08-21 854
这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友，感兴趣的伙伴们可挑战一下自我，在不看答案解析的情况，测试测试自己的解题水平，这样也能达到事半功倍的效果！（好东西要大家一起看才香）了解详情https://docs.qq.com/doc/DSmxTbFJ1cmN1R2dB。
一个Flink-Cep使用案例
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 1302
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 本篇主要演练使用Flink-Cep+Groovy+Aviator 来实现一个物联网监控规则中的一个场景案例，后续将会介绍如何实现规则动态变更。 技术背景简介 Flink-Cep 是flink中的高级library，用于进行复杂事件处理，例如某一类事件连续出现三次就触发告警，可以类比Siddhi、E
Flink之CEP案例分析-网络攻击检测
热门推荐
VinoYang的专栏
03-01 1万+
上一篇我们介绍了Flink CEP的API，这一篇我们将以结合一个案例来练习使用CEP的API编写应用程序，以强化对API的理解。所选取的案例是对网络遭受的潜在攻击进行检测并给出告警。当下互联网安全形势仍然严峻，网络攻击屡见不鲜且花样众多，这里我们以DDOS（分布式拒绝服务攻击）产生的流入流量来作为遭受攻击的判断依据。
FlinkCEP - Flink的复杂事件处理 - 简单案例
京河小蚁的博客
06-18 660
下面两个pattern： 1. 5s内点击浏览了商品3次 2. 3秒内先点击浏览商品，然后将商品加入收藏 更多关于flink cep内容请移步到https://github.com/DeveloperZJQ/learning-flink/blob/master/flink-learning-base/src/main/java/com/flink/cep/CEPDemo1.java.........
Flink_CEP 功能和简单案例
weixin_45417821的博客
03-15 798
文章目录FlinkCEP——Flink的复杂事件处理FlinkCEP 简单流程Pattern API个体模式(Individual Patterns)量词条件模式组(Groups of Patterns)近邻引入 FlinkCEP——Flink的复杂事件处理 FlinkCEP是在Flink之上实现的复杂事件处理 （CEP）库。它使您可以检查无穷无尽的事件流的事件模型，从而使您有机会掌握数据中的重要信息 FlinkCEP 简单流程 DataStream<Event> input = ... Pa
Flink CEP结合案例详解
一个数据小开发的博客
02-19 3209
1、介绍 FlinkCEP是在Flink之上实现的复杂事件处理(CEP)库。它允许您在无穷无尽的事件流中检测事件模式，使您有机会掌握数据中重要的内容。通常会用来做一些用户操作APP的日志风控策略等多种复杂事件，下面详细以用户连续10s内登陆失败超过3次告警为需求，进行全面讲解。 1.1、整体需求数据详解图 ...
FlinkCEP 介绍及入门案例 (基于flink 1.13.x的源码)
penriver的博客
12-08 2162
CEP：先捕获各种细微的事件（基础事件或简单事件），然后通过分析整理【事件模式】，找出更有意义的事件（复合事件），最后决定采取什么行动。其中事件的分析整理以找出更有意义的事件，是CEP的核心，也是最困难的地方。 FlinkCEP(Complex event processing for Flink) 是基于Flink实现的复杂事件处理库. 在无界流或有界流中检测出事件模式【event pattern】，从而挖掘出数据的价值。 本文讲解FlinkCEP的基本概念、特征、应用场景及入门案例
Flink的CEP使用流程+使用案例
haibucuoba的博客
07-23 6408
一、CEP 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。 CEP支持在流上进行模式匹配，根据模式的条件不同，分为连续的条件或不连续的条件；模式的条件允许有时间的限制，当在条件范围内没有达到满足的条件时，会导致模式匹配超时。 、 CEP就相当于在流上对event进行模式匹配。比如 连续两条登录失败日志不超过2秒，则进行错误预...
大数据技术之Apache Flink CEP 实战
小强的博客
12-10 613
本文根据Apache Flink 实战&进阶篇系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给打算使用或者已经使用的同学一些帮助。 主要的内容分为如下三个部分： Flink CEP概念以及使用场景。 如何使用Flink CEP。 如何扩展Flink CEP。 Flink CEP 概念以及使用场...
今日指数项目之FlinkCEP入门案例_quot_bak_new test_flinkcep src main java cn itcast(4)
2401_84181193的博客
05-15 937
{“goodsId”:100001,“goodsPrice”:6,“goodsName”:“apple”,“alias”:“苹果”,“orderTime”:1558430843000}{“goodsId”:100004,“goodsPrice”:12,“goodsName”:“rice”,“alias”:“大米”,“orderTime”:1558430847000}public String eventType;
Flink CEP简单示例----对用户访问页面顺序检测
Widsom的博客
05-24 2387
Flink CEP简单示例----对用户访问页面顺序检测 CEP是flink早期推出的一个的库，是基于一些规则模型，检测异常行为。比如检测反爬虫，或检测优惠活动褥羊毛行为等。 下面简单介绍一下项目背景，使用CEP做模式检测。 需求： 因公司针对会员，发放优惠券活动，因防止羊毛党褥羊毛，通过Flink CEP进行异常检测。检测规则，如果同一个设备号在5分钟内顺序访问login页面–>my页面–...
flink cep
最新发布
03-08
### Flink CEP 使用指南 #### 什么是Flink CEP？ 在实时数据处理领域，Apache Flink 成为了一个重要开源流处理框架[^1]。Flink 不仅提供高吞吐量、低延迟的数据处理能力，还特别支持复杂事件处理（CEP）。Flink CEP 是 Flink 的一个库，允许用户以声明方式指定事件模式，并从数据流中识别这些模式的实例。 #### 关键概念 Flink CEP 中可以定义复杂的事件模式并将其应用到数据流上。一旦数据流中的事件与所定义模式相匹配，则可触发特定操作，例如生成警告或启动新任务等[^3]。内部实现方面，Flink CEP 利用了NFA（非确定有限自动机），这是一种由节点和边构成的状态图结构，其中包含了起始状态、中间状态以及结束状态等多种类型的节点；而边则被分类为take、ignore 和 proceed三类[^4]。 #### 示例代码 下面是一个简单的例子展示如何利用Python编写一段程序来检测交易金额超过一定阈值的情况： ```python from pyflink.datastream import StreamExecutionEnvironment from pyflink.table import StreamTableEnvironment, EnvironmentSettings from pyflink.dataset.execution_environment import get_execution_environment from pyflink.datastream.connectors.kafka import FlinkKafkaConsumer from pyflink.common.serialization import SimpleStringSchema import json def main(): env = StreamExecutionEnvironment.get_execution_environment() t_env = StreamTableEnvironment.create(env) kafka_consumer = FlinkKafkaConsumer( topics='transactions', deserialization_schema=SimpleStringSchema(), properties={'bootstrap.servers': 'localhost:9092', 'group.id': 'test'} ) ds = env.add_source(kafka_consumer)\ .map(lambda value: json.loads(value))\ .key_by(lambda transaction: transaction['account_id'])\ pattern = Pattern.begin("start") \ .where(lambda transaction: float(transaction["amount"]) > 1000)\ cep_result = CEP.pattern(ds, pattern).select() if __name__ == '__main__': main() ``` 此段脚本创建了一个名为`pattern`的对象用于描述我们要查找的目标序列——即任何单笔转账数额大于一千美元的情形。之后调用`.select()`函数获取满足条件的结果集。 #### 教程资源链接 对于更详细的教程和其他学习资料，请参阅官方文档或其他在线课程平台上的相关内容。这里提供的只是一个非常基础的例子用来说明基本的概念和技术细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值