基于Kafka+Flink+Hutool的用户言论实时监控案例

最新推荐文章于 2025-02-11 14:13:58 发布

原创

最新推荐文章于 2025-02-11 14:13:58 发布 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink #用户言论实时监控

本文介绍如何使用 Flink 对互联网用户言论进行实时监控，包括动态更新敏感词、匹配算法及告警通知策略。

前言

当前在互联网上的言论众多，如何对用户的言论进行实时监控和报警呢？并且，对于监控的敏感词经常要进行变更，如何实现动态更新呢？下面，笔者就带领大家进入实战环节。

用户数据写入

假设从 kafka 接收的消息格式如下：

{
   "userId": 10010,
   "content": "我爱你中国",
   "createTime": "2020-01-01 12:00:00"
}

由于用户发表的言论众多，有可能需要对用户触发敏感词的言论次数做监控，所以我们对消息根据 userId 做分组

FlinkKafkaConsumer consumer = new FlinkKafkaConsumer(kafkaProps.getProperty("kafka.user.opinion.topic"), new SimpleStringSchema(), properties);
DataStreamSource<String> transaction = env.addSource(consumer);
KeyedStream<UserOpinionData, Tuple> sourceStream = transaction.map(s -> UserOpinionData.buildUserOpinionData(s))
        ……
        .uid("user-opition-source")
        .keyBy("userId");