68、大数据环境下改进的协同过滤推荐算法

大数据环境下改进的协同过滤推荐算法

1. 引言

随着网络上可用数据的爆炸性增长以及信息技术的飞速发展，大数据已成为数据挖掘领域的热门研究话题。大数据通常用于描述结构化和非结构化数据的指数级增长和可用性。如今，许多政府和行业机构对这项创新技术的巨大潜力产生了浓厚兴趣。然而，这些机构很难找到相关内容，推荐系统应运而生，以解决当前的问题。

推荐系统被定义为复杂信息平台下用户的决策策略，它可以有效地向终端用户推荐所需信息。开发推荐系统的技术多种多样，包括基于内容的过滤、协同过滤或混合方法。其中，协同过滤推荐算法（CFRA）非常流行，被许多大数据提供商和消费者所采用，如eBay、亚马逊和Facebook。

近年来，许多研究表明，在协同推荐系统中应用k-means聚类技术可以显著提高传统CFRA的性能。此外，使用主成分分析（PCA）作为降维方法可以显著改善聚类技术，因此在正式进行聚类任务之前进行降维是必要的。为此，本文提出了两种协同过滤推荐系统算法，第一种使用改进的k-means聚类技术，第二种使用改进的k-means聚类技术并结合PCA作为降维方法，以提高大数据的推荐准确性。实验结果表明，提出的算法比传统的协同过滤推荐算法具有更好的推荐性能。

2. 相关工作

近年来，大数据理念吸引了包括政府、大学和行业在内的多个官方组织的关注，推荐系统被引入以帮助它们通过一种能根据不同标准进行预测的机制找到所需内容。以下是一些相关的推荐策略和系统：
- Apache Mahout ：一个开源项目，主要支持机器学习方法的免费可扩展实现。
- MyMediaLite ：一