十四Spark ALS协同过滤java

最新推荐文章于 2022-07-25 11:30:42 发布

张金玉

最新推荐文章于 2022-07-25 11:30:42 发布

阅读量644

点赞数

CC 4.0 BY-SA版权

分类专栏： spark_kafka

本文链接：https://blog.youkuaiyun.com/xsjzdrxsjzdr/article/details/85806725

spark_kafka 专栏收录该内容

25 篇文章

订阅专栏

本文详细介绍Apache Spark的机器学习库ML与MLlib的应用实践，包括ALS模型训练流程及数据处理技术，从HDFS获取数据并转换为RDD，最终将预测结果存储至MySQL数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

API
http://spark.apache.org/docs/1.6.2/api/java/index.html
机器学习里面包含两个包
org.apache.spark.ml  #输入是dataframe,sql . org.apache.spark.sql.catalog

org.apache.spark.mllib

用户产品订单表，里面包含字段 用户id, 产品id, 是否购买来预测用户是否购买
//获取数据转换成RDD 1 hdfs 2SparkSql   3本地文件系统
context.textFile("/spark/file/user-order.txt")  #hdfs中的路径

//RDD转换成ALS模型
ALS.train()
//把数据存储到mysql中