spark 2.3 ml 协同过滤推荐算法ALS

最新推荐文章于 2024-01-08 17:49:57 发布

灬皇帝的新装灬

最新推荐文章于 2024-01-08 17:49:57 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据数据分析

本文链接：https://blog.youkuaiyun.com/qq_31032181/article/details/84347174

本文介绍了Spark 2.3版本中机器学习库MLlib的协同过滤推荐算法ALS的原理与应用。通过实例展示了如何使用ALS进行推荐系统建模，并探讨了其在大数据分析中的价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.spark ml 协同过滤推荐算法
相似度算法
在Spark MLlib中提供了余弦相似度的分布式实现，org.apache.spark.mllib.linalg.distributed包中的IndexedRowMatrix是一个分布式矩阵类，其中提供了一个columnSimilarities方法用于计算该矩阵各列之间的余弦相似度。

预测值计算：采用加权求和的方法计算预测值.
Step 1：读取用户评分数据，设用户数为U，物品数目为I，将数据转换为以用户为行，物品为列的二维矩阵R，R维度为（U×I）。矩阵的每一个数据表示某个用户对特定物品的评分。
Step 2：计算R每列之间的相似度，可以得到维度(I×I)的矩阵S。S(i,j)表示物品i和物品j之间的相似度。
Step 3：使用预测值计算公式计算用户对未评分物品的预测评分。得到预测评分矩阵P，P维度为（U×I），P(i,j) 表示用户i对物品j的预测评分。
Step 4：对用户i进行推荐。找出P的第i行中评分最高的前K个物品推荐给用户。K是需要推荐的物品数量。
二.
关于官方例子：
官方例子是用户-电影数据
很多人想把例子copy过来试试，却不知道源数据是什么样子的。方法:spark-2.3.1-bin-hadoop2.7.tar 这个包大家很熟悉，解压后里面有很多目录，data\mllib目录下就有所有的源数据。官方的例子包括数据都是最优的，随便训练效果都很好，实际数据很糟糕。
三.
下边例子，我训练的是用户-主题，做的是某款软件上的主题推荐。
最终代码没有放上，这只是最开始的demo。

import org.apache.spark.ml.evaluation.RegressionEvaluator
import org.apache.spark.ml.recommendation.ALS
import org.apache.spark.sql.SparkSession
import org.apache.spark.storage.StorageLevel


object user_theme_model {
  case class Rating(userId: Int, movieId: Int, rating: Flo