Apache Flink-使用DataStreamAPI实时统计用户搜索词频

最新推荐文章于 2025-04-14 14:07:23 发布

XiangYida

最新推荐文章于 2025-04-14 14:07:23 发布

阅读量792

点赞数 3

分类专栏： Apache Flink 文章标签： java flink

本文链接：https://blog.youkuaiyun.com/qq_36781505/article/details/107292820

版权

使用DataStreamAPI实时统计用户搜索词频

这是我毕业设计的一个模块，后面会提供源码

1.模块介绍

本项目做的是一个题目搜索相关的应用，这个模块做的就是对用户搜索的文本进行分词然后统计词频。

先看这个模块的数据链路图吧
在这里插入图片描述

用户在搜题的过程中服务端会将用户的搜索数据发送到kafka。Flink消费kafka的数据然后进行中文分词，分词后统计词的频率将结构sink到redis中。

2.具体实现

这里使用的Flink的DataStreamAPI来实现。先看相关依赖

<dependencies>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-java</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-streaming-scala_2.11</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope>
		</dependency>

		<!--kafka-->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-connector-kafka_2.11</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>fastjson</artifactId>
			<version