Flink广播状态实战——设备异常报警

本文介绍了如何使用Flink处理实时请求日志,并与动态配置的MySQL规则进行匹配,当匹配成功时,从MySQL获取额外字段并发送结果到Kafka。文章详细阐述了解决广播状态设计中的难点,包括动态识别MySQL的region与JSON字段的匹配,以及1对多的关系处理。通过解析JSON数据,结合BroadcastProcessFunction,实现报警系统的实时监控。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景:

昨天,收到一个网友的咨询:

       他们想要实时监控网络攻击请求——即如何让一个实时的请求日志同mysql表(监控规则)中数据进行匹配,且mysql表是可以动态配置呢?

       如果匹配成功之后,还需再添加一个字段(从mysql中取),输出数据到kafka,然后用报表展示明细数据,报告给安全部门同事。

听到这个需求的我,第一反应是↑↑↑

但是,

做大数据的男人怎么能怂?

不多说废话,开干!

异步io+缓存读取mysql的方案后续会更新

本篇文章用scala开发

(用scala开发spark习惯了,所以flink也习惯用sclal)

 

 

首先,让我们先来梳理一个流程图

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值