Spark+Kafka构建实时数据分析面板

项目实现代码、ppt参考实时交易数据分析平台
参考了Spark课程实验案例：Spark+Kafka构建实时分析

---

前言

年初公司培训的作业，鸽了很久都没有写博客总结，导致时间久远已经忘了具体的实现方法，这里简单回忆一下，具体内容参考上面的个人github页面。

使用技术

1. flask
2. kafka
3. spark streaming
4. socket-io

实现思路

1. 因为没有数据源，所以flask后台线程定时生成固定格式的随机数据，模拟实时交易数据；
2. 后台启动spark streaming进程，将数据通过kafka发送给spark streaming进行流计算，通过scala编写任务，处理传入的数据，对数据进行分类；
3. 处理好的数据再通过kafka发送给flask，通过socket-io完成前端展示；