web展示爬去知乎、微博文章和图片

爬虫数据可视化与Web应用

最新推荐文章于 2024-01-07 01:00:27 发布

原创最新推荐文章于 2024-01-07 01:00:27 发布 · 567 阅读

0 ·

CC 4.0 BY-SA版权

Java 专栏收录该内容

84 篇文章

订阅专栏

本项目利用SpringBoot、Mybatis等技术搭建Web应用，实现知乎、微博文章及图片的抓取、展示与数据可视化统计。核心功能包括登录注册、话题浏览与发布、照片上传、评论互动、站内信通知、用户积分排行等。采用SpringSecurity进行安全控制，七牛云存储照片，Redis实现异步队列与排行榜，echarts进行数据可视化。

之前使用python3抓取的一些知乎、微博的文章和图片数据想立体化展示出来

web展示爬去知乎、微博文章和图片、论坛主要是展示爬去的数据

使用技术:

Springboot

Mybatis

MySQL8.0.15、MongoDB

Maven

Echarts

主要功能有
1、登录和注册
2、（分类）浏览话题
3、发表话题
4、上传照片
5、评论
6、站内信通知
7、用户积分排行榜
8、评论照片/文章
9、爬去数据可视化统计

主要功能实现
1、登录注册：使用SpringSecurity4框架，即使用已经包装好的接口来实现，简单易用。
2、上传照片：照片是存储在第三方服务器，即七牛云。
3、站内信通知：通过异步队列来实现的站内信通知，其中选择Redis来作为队列。
4、排行榜：排行榜是通过Redis的有序集合来实现的，可以实现快速排序。
5、爬去数据统计可视化：数据统计可视化使用百度的echarts。<br>

整合爬去和展示数据待续。。。