基于Spark ALS的离线推荐系统实践

最新推荐文章于 2024-01-18 02:06:29 发布

原创

最新推荐文章于 2024-01-18 02:06:29 发布 · 3.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hadoop #推荐系统 #MLlib

首先，此推荐系统搭建在基于Hadoop(2.7.3)、Spark(2.0.0)、Zookeeper（可选）的集群上，关于Hadoop和Spark集群搭建可参考我前面几篇水水的博文~

其次，此demo用到的数据来自DataCastle的一个正在进行的比赛，数据集在此请大家移步下载~比赛的主题是关于地点的推荐
（训练集数据格式：userID, addressID, count –> 用户id，地点id，访问次数）

Spark机器学习库MLlib中关于推荐的算法至今有且只有一种：ALS（交替最小二乘法），不同于协同过滤求用户间相似度，而是一种基于矩阵分解的算法，关于该算法的来龙去脉各位可自行搜索~

废话不多说，上代码说话
Step 1：在IntelliJ IDEA构建maven工程，则pom.xml文件中依赖库具体如下：

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${scala.version}