4、人工智能与数据科学：图书推荐与垃圾邮件过滤的机器学习应用

人工智能与数据科学：图书推荐与垃圾邮件过滤的机器学习应用

1. 图书推荐系统实验

在图书推荐系统的研究中，使用了BookCrossing数据集。该数据集由CAI - Nicolas Ziegler基于亚马逊网络服务构建，包含了90,000名用户阅读的270,000本书籍以及110万条评论。数据分为三个表，分别包含用户信息、书籍信息和图书评分信息。

• 数据集详情

  • 评分数据集 ：包含1,149,780条评分记录，有3个字段：用户ID、ISBN和图书评分。评分范围为1 - 10，也可用0隐式表示。大部分评分集中在0，且分布极不均匀。
  • 书籍数据集 ：有271,360条书籍记录，包含8个字段，前5个是基于内容的信息，如ISBN、书名、作者等，后3个是不同尺寸的书籍封面图片URL。
  • 用户数据集 ：包含278,858条用户记录和3个字段：用户ID、位置和年龄。大部分活跃用户是20 - 30岁的年轻人。

• 实现过程

  • 采用基于物品和基于用户的协同过滤方法，在Python中进行实验，并在Jupyter Notebook中编译。
  • 评估用户和物品的RMSE分数后，通过集成多种算法对图书推荐系统进行优化，如来自surprise库的协同聚类、SVD、NMF、KNNbasic、KNNwithMeans