kafka+spark Streaming+redis小项目

最新推荐文章于 2020-04-04 00:50:13 发布

EricJeff_

最新推荐文章于 2020-04-04 00:50:13 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： redis spark 数据

本文链接：https://blog.youkuaiyun.com/w3045872817/article/details/78729085

spark 专栏收录该内容

12 篇文章

订阅专栏

本文档介绍了一个使用Kafka作为消息中间件，Spark Streaming进行实时流处理，Redis作为数据缓存的小项目。详细步骤包括安装Zookeeper、Redis、Kafka和Spark，以及使用Redis和Kafka的客户端管理工具。项目源代码可在GitHub找到。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这个项目主题思路是：
    手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列
    后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择Spark Streaming，因为Spark Streaming提供了与Kafka整合的内置支持
    经过Spark Streaming实时计算程序分析，将结果写入Redis，可以实时获取用户的行为数据，并可以导出进行离线综合统计分析

需要用到的工具：
安装zookeer:
http://blog.youkuaiyun.com/w3045872817/article/category/7231592
安装redis：
http://blog.youkuaiyun.com/w3045872817/article/details/78728946
安装kafka：
http://blog.youkuaiyun.com/w3045872817/article/category/7231591
安装spark:
http://blog.youkuaiyun.com/w3045872817/article/details/78289805
redis客户端管理工具：
https://redisdesktop.com/