基于模型的电影推荐引擎与Q学习在期权交易中的应用
1. 基于模型的电影推荐引擎
在电影推荐系统的开发中,我们尝试了多种模型。之前的模型性能仍有提升空间,但目前对于基于MLlib的ALS算法,尚未有现成的模型调优工具。感兴趣的朋友可参考此链接获取更多关于调优基于ML的ALS模型的信息:https://spark.apache.org/docs/preview/ml - collaborative - filtering.html 。
1.1 最佳模型的选择与部署
首个项目中开发的模型仅用几行代码计算电影相似度,无法持久化,且只能计算两部电影的相似度,难以应用于实际电影推荐。因此,我们将重点放在基于模型的推荐引擎上。
虽然用户评分会不断更新,但保存当前模型仍有必要,这样在服务器启动时可节省时间,用于实时电影推荐。以下代码可保存训练好的ALS模型:
//Saving the model for future use
val savedALSModel = model.save(spark.sparkContext, "model/MovieRecomModel")
保存的ALS模型与其他Spark模型不同,仅包含训练数据和一些Parquet格式的元数据。恢复模型并进行类似操作的代码如下:
val same_model = MatrixFactorizationModel.load(spark.sparkContext, "model/MovieRecomModel/")
超级会员免费看
订阅专栏 解锁全文

25

被折叠的 条评论
为什么被折叠?



