基于大数据的图书推荐系统

项目介绍

基于 Spark 与 ALS 算法的图书推荐系统是一个结合大数据处理和机器学习技术的推荐系统，旨在帮助用户在海量图书资源中快速找到符合自己兴趣的书籍。

项目背景

在数字化时代，用户在海量的数字图书资源中难以快速找到符合自己兴趣的书籍。个性化推荐系统通过分析用户的历史行为和偏好，自动推荐用户可能感兴趣的书籍，提高信息获取效率和用户满意度。

技术选型

• Apache Spark：用于高效的大规模数据处理和分布式计算。
• ALS（交替最小二乘法）算法：用于矩阵分解，构建用户和物品的潜在特征模型，实现高效的个性化推荐。
• HDFS（Hadoop Distributed File System）：用于存储和管理大规模数据。
• Flask：用于构建用户交互界面，提供Web服务。

系统架构

系统采用两层架构设计：

• 批处理层：负责数据的收集、存储、清洗和模型训练。
  • 数据上传到HDFS
  • 使用PySpark进行数据处理
  • 应用ALS算法训练模型
• 服务层：处理用户请求，生成并展示个性化的图书推荐。
  • 接收用户输入的Goodreads用户ID
  • 根据模型生成推荐书籍列表
  • 使用Flask渲染推荐结果界面