36、基于大数据的推荐系统案例研究

基于大数据的推荐系统案例研究

1. 引言

当前，我们正迈向信息发展的新阶段，企业中大量的实时或近实时数据被用于提升业务关键成果的效果。然而，如今信息的增长速度远超其处理能力。尽管每个人都有独特性，但在某些方面又存在相似之处，表现出相同的行为，喜欢相同的物品。用户往往希望借助他人的信任和意见来挑选自己心仪的物品。

2. 相关工作

不同学者对大数据和推荐系统进行了多方面的研究：
- Harshawardhan 等用三个“V”（Volume、Velocity、Variety）来描述大数据的概念，并指出大数据存在异构性、缺乏结构、错误处理、隐私和可视化等技术挑战。
- Patel 等使用 Hadoop 框架描述了大型数据集推荐系统，利用 Mahout 平台结合 Movielens 数据集实现推荐系统，该数据集提供了评论和评分。
- Adomavicius 和 Tuzhilin 阐述了推荐系统的各种局限性、方法和改进途径，并指出在推荐阶段需要结合用户、物品和上下文信息来提升推荐系统。
- Zhao 和 Shang 提出基于云平台的用户协同过滤（CF）算法，利用 Hadoop 的 MapReduce 解决可扩展性问题。
- Patil 等提出在 Hadoop 和 Spark 中使用大数据的产品推荐过滤系统，Spark 处理大型数据集的速度比 Hadoop MapReduce 快 100 多倍，具有更好的可扩展性和实时性。
- Isinkaye 等描述了推荐系统的不同特征和预测技术，包括数据收集（显式、隐式和混合反馈）、学习阶段和预测阶段。
- Chen 等引入基于本体领域的糖尿病药物推荐系统，为医院专家提供知识库。 <