spark协同过滤结果保存问题

最新推荐文章于 2022-07-25 11:30:42 发布

原创最新推荐文章于 2022-07-25 11:30:42 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文介绍了一种使用Spark ML库中的ASL模型进行高效推荐产品预测的方法，并演示了如何利用新接口recommendProductsForUsers简化结果获取及保存过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因为对spark的ML不熟悉，asl模型训练出来之后不知道怎么保存，找了些资料都是很老的版本，各种遍历一个一个读取，速度慢的要命，最后看了下spark 1.4出来的新接口：
recommendProductsForUsers

只需要传入推荐的个数，即可拿到所有的结果。并可以保存到hdfs

 model.recommendProductsForUsers(numRecommender).flatMap(x => {
      val user = x._1.toString
      val rat = x._2

      var res = List[(String,String)]()
      for( r <- rat){
        res=res:+(user,r.product+","+r.rating)
      }
      res
    }).saveAsTextFile("/xxx/" + getNowDate)