Python Spark创建推荐引擎 (3) 学习笔记十二

最新推荐文章于 2020-05-12 21:56:18 发布
置顶 最新推荐文章于 2020-05-12 21:56:18 发布
阅读量363 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Python Spark Hadoop 机器学习 大数据 文章标签： Recommend 推荐电影 Python Spark创建推荐引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45122866/article/details/99684211
本文档介绍了如何创建一个名为Recommend的推荐系统，该系统包括RecommendTrain.py和Recommend.py两个程序。RecommendTrain.py主要负责数据准备、模型训练和存储，而Recommend.py则负责加载模型并进行推荐。通过使用ALS.train方法对评分数据进行训练，生成的模型被存储在HDFS中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

12.10创建Recommend项目

这里我们将建立Recommend推荐系统，系统有2个程序，说明如下
·RecommendTrain.py
（1）数据准备阶段
读取u.data，经过处理后产生评分数据ratingsRDD
（2）训练阶段
评分数据ratingsRDD经过ALS.train训练后产生Model
（3）存储模型
存储模型Model在本地货HDFS中，作为后续推荐使用。
·Recommend.py
（1）数据准备阶段
读取u.item，产生movieTitle（电影ID/名称字典）。
（2）载入模型
载入之前存储的模型Model
（3）推荐阶段
使用模型Model进行推荐，并使用movieTitle转换显示推荐的电影名称。
Recommend推荐系统示意图
在这里插入图片描述

12.10.1启动eclipse

在这里插入图片描述

12.10.2创建键RecommendTrain.py

（1）右键单击PythonProduct，出现快捷菜单，依次选择New->File,打开New File对话框，输入“RecommendTrain.py
”，单击Finish。

最低0.47元/天 解锁文章

200万优质内容无限畅学
SparkContext主要组成部分
大冰的小屋
09-07 7285
1. 基本说明SparkContext是应用程序的提交执行的前提。先来看一下SparkContext的注释：/** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark * cluster, and can be used to create RDDs, ac
Python Spark创建推荐引擎 (4) 学习笔记十二
停止的闹钟博客
08-16 315
12.12创建Recommend.py 12.12.1创建Recommend.py （1）右键单击PythonProduct，出现快捷菜单，依次选择New->File,打开New File对话框，输入“Recommendpy ”，单击Finish。 12.12.2main主程序代码 if name == “main”: if len(sys.argv) != 3: print(“请输入2个参...
实例：2. ALS算法（pycharm）
ant的博客
01-08 2894
分为两个部分： 1. 训练模型 RecommendTrain.py 2. 推荐 Recommend.py   将模型保存起来，可以更方便的调用 模型的保存和加载： model.save(sc, Path + "ALSmodel") model = MatrixFactorizationModel.load(sc, Path+"ALSmodel")     RecommendTr...
Spark 集成开发
weixin_30755709的博客
09-06 101
WordCount.py # coding:utf-8 from pyspark import SparkContext from pyspark import SparkConf def SetLogger(sc): """设置不要显示过多信息""" logger = sc._jvm.org.apache.log4j logger.LogMana...
从Spark-Shell到SparkContext的函数调用路径过程分析（源码）
weixin_33985679的博客
09-25 109
　　 　  不急，循序渐进，先打好基础     Spark shell的原理 　　 首先，我们清晰定位找到这几个。   1、spark-shell     2、 spark-submit     3、spark-class        4、SparkSubmit.scala            5、SparkILoop.scala...
Spark2.1.0——SparkContext初始化之Spark环境的创建
beliefer的博客
11-16 1488
阅读指导：在《Spark2.1.0——SparkContext概述》一文中，曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。          在Spark中，凡是需要执行任务的地方就需要SparkEnv。在生产环境中，SparkEnv往往运行于不同节点的Executor中。但是由于local模式在本地执行的需要，因此在Driver本地的Executor也需要Spa...
Python Spark创建推荐引擎（2）学习笔记十二
停止的闹钟博客
08-16 383
12.6如何训练数据 ALS训练数据格式是RatingRDD数据类型 12.6.1配置文件读取路径 以上程序判断 ·如果sc.master[0:5]是“local”，代表当前本地运行，读取文本文件。 ·sc.master[0:5]不是是“local”，就有可能是YARN client或者Spark Stand Alone,必须读取HDFS文件。 12.6.2导入-100k数据 我们使用sc.t...
Python Spark创建推荐引擎（1）学习笔记十二
停止的闹钟博客
08-16 259
12.1推荐算法介绍 推荐引擎是最常见的机器学习应用。我们可以在各大购物网站看见这方面的应用。 Spark MLlib支持ALS(Alternating Least Squares)推荐算法，是机器学习的协同过滤推荐算法。机器学习的协同过滤推荐算法通过观察所有用户给产品的评价来推断每个用户的喜好，并向用户推荐适合的多个产品，也可以把某一产品推荐给多个用户。 协同过滤推荐的优缺点 优点 缺点...
Spark学习笔记（一）Spark初识【特性、组成、应用】
08-25
3. 通用性：Spark 是一个全面的数据处理平台，能够处理批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（MLlib）和图计算（GraphX）。这种统一的解决方案使得开发者可以在一个框架内解决...
《深入理解SPARK：核心思想与源码分析》——SparkContext的初始化（仲篇）——SparkUI、环境变量及调度...
weixin_30457551的博客
02-22 339
《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市 《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章SPARK设计理念与基本架构》 由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。 ...
spark note
04-03 1718
SparkContext: def createSparkContext(): SparkContext = { val master = this.master match { case Some(m) => m case None => { val prop = System.getenv("MASTER") if (prop != null) prop else "local"
三、SparkContext详解
一朵的专栏
01-17 482
一 架构图 上图以standalone模式为例。 SparkContext创建TaskScheduler，DAGScheduler，SparkUI。 TaskSchedulerImpl就是我们所说的TaskScheduler，底层主要基于StandaloneSchedulerBackend来工作。 StandaloneSchedulerBackend在底层接收TaskScheduler...
在Python的环境下对Spark文件操作
幸运的Alina的博客
06-20 1558
在实际使用Spark做集群运算的时候我们会遇到很多实际的问题，特记录下来，本文主要讲解关于Spark读文件为RDD ，然后RDD转DataFrame，然后将RDD存为文件，以及如何保存DataFrame到文件 from pyspark.sql import SparkSession def CreateSparkContext(): # 构建SparkSession实例对象 ...
Spark-源码-SparkContext的初始化
Q75999的博客
11-19 257
Spark版本 1.3SparkContext初始化流程 1.0 在我们的主类 main() 方法中经常会这么写 　　val conf = new SparkConf().setAppName("name").setMaster("local") 　　val sc = new SparkContext(conf) 　　conf 中保存的是Spark的参数 　　sc 是...
基于Python Spark的推荐系统
SanFancsgo的博客
09-10 1万+
ALS推荐算法 Spark MLlib中实现了ALS(Alternating Least Squares)基于协同过滤的推荐算法。 MovieLens数据集 MovieLens数据集收集了大量用户对不同电影的评分，详情见数据集官网http://grouplens.org/datasets/movielens。 下载ml-100k数据至工作目录中，终端输入命令： mkdir -p ...
【Spark】5、决策树二元分类
Alexander的博客
07-17 2148
本节使用决策树二元分类分析StumbleUpon数据集，预测网页是暂时性的（ephemeral）或是长青的（evergreen），并调校参数找出最佳参数组合，提高预测准确度。 StumbleUpon Evergreen大数据问题场景分析 StumbleUpon是一个个性化的搜索引擎，会按用户的兴趣和网页评分等记录推荐给你感兴趣的网页，有些网页是暂时性的，比如新闻，这些文章可能只是在某一段时间会对读...
Spark机器学习之MLlib整理分析
aseuib2243的博客
09-21 658
友情提示： 本文档根据林大贵的《Python+Spark 2.0 + Hadoop机器学习与大数据实战》整理得到，代码均为书中提供的源码（python 2.X版本）。 本文的可以利用pandoc转换为docx文档，点击这里安装下载pandoc后，在终端输入以下命令： pandoc youfilename.md -f markdown -t docx -s -o outputfilen...
HDFS的学习和使用
热门推荐
哈工大许政的博客
05-12 2万+
HDFS的学习和使用 本文是基于CentOS 7.3系统环境，进行HDFS的学习和使用 CentOS 7.3 1. HDFS简介 1.1 什么是HDFS HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，不支持文件的修改。 1.2 HDFS的优点 高容错性 数据自动保存多个副本；当某一个副本丢失以后，可以自动恢复 适合处理大数据 能够处理数据规模达到GB、TB的数据；能够处理百万规模以上的文件数量 可以构建在廉价的机器上，通过多副本机制，提供可靠性 1
Spark中组件Mllib的学习6之ALS测试（apache spark 含隐式转换）
Keep Learning
05-16 2630
更多代码请见：https://github.com/xubo245/SparkLearning spark-1.5.2 1解释 使用spark 官网推荐的算法,使用了隐式转换2.代码：package apache.spark.mllib.learning.recommendimport java.text.SimpleDateFormat import java.util.Dateimport
Python3初学者源码学习笔记整理（附教程链接）
1. 蟒蛇3学习：暗示了文件中包含的是关于Python3学习的内容，可能涉及源码的解释和学习笔记，适合初学者逐步掌握Python3的基础知识和编程技巧。 综上所述，这些信息点向我们展示了Python3作为编程语言学习的入门...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值