背景:
昨天,收到一个网友的咨询:
他们想要实时监控网络攻击请求——即如何让一个实时的请求日志同mysql表(监控规则)中数据进行匹配,且mysql表是可以动态配置呢?
如果匹配成功之后,还需再添加一个字段(从mysql中取),输出数据到kafka,然后用报表展示明细数据,报告给安全部门同事。
听到这个需求的我,第一反应是↑↑↑
但是,
做大数据的男人怎么能怂?
不多说废话,开干!
异步io+缓存读取mysql的方案后续会更新
本篇文章用scala开发
(用scala开发spark习惯了,所以flink也习惯用sclal)
首先,让我们先来梳理一个流程图: