
Flink CEP
文章平均质量分 79
黄瓜炖啤酒鸭
黄瓜炖啤酒鸭 欢迎分享,欢迎交流,有不懂的可以加微信交流,拒绝红包等利益交流,不懂就问。
展开
-
Flink janino,跟老铁又学到了
1,janino在flink-table里面有2,它的功能其实跟AviatorEvaluator类似,我们还有对两者的用法跟功能做对比。3,找找相关的文档:https://blog.youkuaiyun.com/inrgihc/article/details/104399439/ Janino 是一个极小、极快的 开源Java 编译器(Janino is a super-small, super-fast Java™ compiler.)。Janino 不仅可以像 ...原创 2021-09-09 17:13:15 · 1186 阅读 · 0 评论 -
Flink cep动态模板+cep规则动态修改实践
Flink CEP 概念以及使用场景1.什么是CEP? CEP的意思是复杂事件处理,例如:起床-->洗漱-->吃饭-->上班等一系列串联起来的事件流形成的模式称为 CEP。如果发现某一次起床后没有刷牙洗脸亦或是吃饭就直接上班,就可以把这种非正常的事件流匹配出来进行分析,看看今天是不是起晚了。 在真实场景中,起床,洗漱,吃饭,上班就是一个个事件数据。CEP的特征如下:目标:从有序的简单事件流中发现一些高阶特征;输入:一个或多个简单事件构成...原创 2021-04-15 11:25:33 · 13236 阅读 · 53 评论 -
再一次记录Flink-cep集群运行报错问题
一,场景说明1,版本flink-1.11.2flink-cep-1.11.22,稍微修改了flinkcep源码3,本地运行结果4,集群运行报错二,报错信息三,解决思路报错信息是找不到我们的方法:1,首先看是不是打包的问题,解压安装包,反编译发现打包是没问题的。2,看是不是集群的包冲突,看起来也没cep的包3,cep源码单独打包,通过依赖添加到项目中再打包运行,还是报错。四,最后解决...原创 2021-04-13 15:28:03 · 504 阅读 · 1 评论 -
Flink cep需求代码实践02
业务需求01:疑惑点:关于水印的环节,最后一条数据不进入cep触发计算。初始operation_type=1且接下来的数据也是operation_type=1,且次数大于等于3,并且数据与数据之前的时间间隔要小于11000毫秒,且所有匹配数据的时间间隔必须在5分钟之内。数据如下:{"operation_type":"1","order_number":"1","device_code":"6f253e518373bcbe","create_date":"16166531740..原创 2021-03-31 16:26:10 · 365 阅读 · 0 评论 -
Flink CEP 实践01,概念细节篇-未完
1,Flink CEP中 SimpleCondition/IterativeCondition的区别应该是针对个体模式与组合模式的用法区别,我在这里使用的感觉就效果是一样的。2,flatselect和select的区别我在这里使用的感觉就效果是一样的,有个可以输出多个结果,输出list,一个是只能输出单个实体。...原创 2021-03-24 10:58:29 · 763 阅读 · 0 评论 -
基于Flinkcep-1.11.2 动态规则修改实践
1,事先说明这个代码搞出来说白了就是在大佬的代码参考下完成的,之前就一直想搞cep规则动态修改,苦于对cep的源码不熟悉,没法下手。之前有个大佬搞过基于flink-cep 1.8版本的动态规则修改。后来有个大佬搞过基于flink-cep 1.1.0的。我看代码的逻辑是后者更复杂,前者更好理解,后者需要修改的地方太多,后来我仔细思考之后发现,还是前者效果更好一些。因为可以结合配置流,或者数据里面获取新的规则,实现规则的自动更新,后者可能需要定时获取规则比对是否发现修改。配置流这个目..原创 2020-12-10 15:09:00 · 2830 阅读 · 3 评论 -
Flink sql 完成CEP操作地址
https://help.aliyun.com/document_detail/73845.html示例示例语法 SELECT *FROM Ticker MATCH_RECOGNIZE (PARTITION BY symbolORDER BY tstampMEASURES STRT.tstamp AS start_tstamp,...原创 2020-04-12 15:51:45 · 1494 阅读 · 5 评论 -
Flink-cep 动态改变规则案例
地址:https://github.com/ljygz/Flink-CEPplus/tree/master/地址:https://github.com/ljygz/Flink-CEPplus/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/exampl...原创 2019-10-31 11:36:42 · 10518 阅读 · 5 评论 -
Flink CEP 订单案例
1,下面代码要注意的点:1)函数可能会报错,需要引入scala Map2)以为我们的条件是next 严格相邻,所以第一条数据会被过滤掉不满足条件,它不会出现在测流,就是被过滤掉了,如果想要测流拿到不满足的数据,正常应该用followBy或者其他模式;2,具体代码package com.coder.flink.core.a_bilibiliimport org....原创 2019-08-29 11:12:54 · 1147 阅读 · 0 评论 -
Flink cep notFllowedBy 用法案例
notFllowedBy 意思是只保留第一个条件最后的一条数据跟第二个条件去匹配notNext() notFollowedBy() 后面的模式不命中(严格/非严格) 下图代码说明的就是,匹配最后一个 name = '2',,接下来遇到 '0' 就是匹配结果,所有会有2个结果(Event(A,a3,2) ,Event(A,a6,0))(-Event(A,a8,2),...原创 2019-07-30 16:40:18 · 1088 阅读 · 0 评论 -
Flink CEP 空气质量监控案例
转载至 about 云http://www.aboutyun.com/thread-27487-1-1.html实际业务场景代码会比这个复制,但是类似............package wang.datahub.cep;import org.apache.flink.api.java.utils.ParameterTool;import org.apache.flink....转载 2019-07-19 09:56:47 · 484 阅读 · 0 评论 -
Flink CEP基础学习与使用01
一,学习CEP的目的,说白了是因为业务需要,需要更深入的理解,并使用到更复杂的场景,先说一下 CEP是什么: 复杂事件处理(CEP)是一种基于流处理的技术,将系统数据看做不同类型的事件,通过分析事件之间的关系,建立不同的事件关系序列库,并利用 过滤,关联,聚合等技术,最终由简单事件产生高级事件,并通过模式规则的方式对重要信息进行跟踪和分析,从数据中发掘有价值的信息。 目前主要...原创 2019-07-01 10:30:00 · 680 阅读 · 0 评论 -
Flink CEP基础学习与使用04----实际业务场景开发案例demo
目标:针对日志,做场景匹配demo,这个demo先发出来吧,感觉乱七八糟的,等过一段时间再思考一下怎么写,这个写的太乱了import com.alibaba.fastjson.{JSON, JSONObject}import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flin...原创 2019-07-02 17:41:23 · 1371 阅读 · 0 评论 -
Flink CEP基础学习与使用03-标准案例代码书写
这里主要是案例,后续要结合实际业务做更复杂的场景,比如条件是否可以从redis里面获取???完整案例:import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.cep.CEP;import org.apache.flink.cep.PatternFlatSelectFu...原创 2019-06-28 16:42:35 · 416 阅读 · 0 评论