计算机毕业设计之小红书平台数据采集与可视化分析

随着互联网的快速发展，数据采集与可视化分析在各行业中的应用越来越广泛。特别是在电商领域，对于服装类商品的信息爬取与展示具有极大的市场需求。在此背景下，开发一款数据采集与可视化分析系统。通过该平台，管理员可以爬取小红书的服装信息，封装之后展示到自己的系统之中，用户则可以查看管理员爬取的服装信息和公告信息。为了更好的使用爬取的服装信息数据，系统提供给管理员可视化面板查看功能，管理员可以查看爬取的服装信息数量的总数，商品最高价，直播场次，店名等可视化数据，方便管理员做相应的决策。总的来说，系统后台使用Python语言和Django框架进行系统的开发，系统前台页面使用vue-cli技术实现动态网页的展示，数据库管理系统使用MySQL存储和管理数据，使用scrapy爬虫框架

系统功能结构图

根据以上的功能需求情况，整体的功能模块包括有前台vue项目模块，后台django后台项目和爬虫项目。前台vue的页面主要页面包括注册与登录页面，服装信息详情页，公告详情页，后台管理主操作页，可视化面板等，爬虫模块主要用来爬取小红书网站相关数据信息的网页，然后提取需要的数据，最后通过hadoop保存到mysql中，具体如下图所示。

图4.2 系统页面与功能模块示意图

公告管理界面

管理员可以发布公告信息到系统中，让用户进行查看。

图5.7公告管理界面图