基于Spark的电影推荐系统
关注
分享
扫一扫
基于大数据过滤引擎的电影推荐系统--“仿豆瓣”电影网站，包含了爬虫、电影网站（前端和后端）、后台管理系统以及推荐系统（Spark）
留歌留歌
只要最后那个人是你，晚一点也没关系
展开
-
基于Spark的电影推荐系统（推荐系统~7）
第四部分-推荐系统-实时推荐 本模块基于第4节得到的模型，开始为用户做实时推荐，推荐用户最有可能喜爱的5部电影。说明几点1.数据来源是 testData 测试集的数据。这里面的用户，可能存在于训练集中，也可能是新用户。因此，这里要做处理。2. SparkStreaming + kakfa开始Coding步骤一：在streaming 包下，新建PopularMovies2pac...原创 2019-10-20 23:06:26 · 4873 阅读 · 2 评论 -
基于Spark的电影推荐系统（推荐系统~6）
第四部分-推荐系统-实时推荐之实时数据加工 把测试集（30%总数据）的数据 ，怼到 Kafka 消息队列里前置准备Kafka系列一之架构介绍和安装Kafka系列三之单节点多Broker部署启动Kafka[root@hadoop001 ~]# nohup kafka-server-start.sh $KAFKA_HOME/config/server-1.properties &am...原创 2019-10-20 22:29:12 · 2465 阅读 · 0 评论 -
基于Spark的电影推荐系统（推荐系统~5）
第四部分-推荐系统-离线推荐 本模块基于第4节得到的模型，开始为用户做离线推荐，推荐用户最有可能喜爱的5部电影。说明几点1.主要分为两个模块。其一是为 单个随机用户 做推荐，其二是为 所有用户做推荐，并将推荐结果进行保存2. 其中所有推荐的结果保存在 MySQL中，HBase，Hive中 <三种版本>。3. 其中取得的userid一定要存在于模型中， 这样就建议直接从tr...原创 2019-10-20 21:57:01 · 2777 阅读 · 3 评论 -
基于Spark的电影推荐系统（推荐系统~4）
第四部分-推荐系统-模型训练 本模块基于第3节 数据加工得到的训练集和测试集数据 做模型训练，最后得到一系列的模型，进而做 预测。训练多个模型，取其中最好，即取RMSE(均方根误差)值最小的模型说明几点1.ALS 算法不需要自己实现，Spark MLlib 已经实现好了，可以自己 跟源码学习花时间钻研，动手写，写代码 翻译论文 写博客 多下功夫2. 最新http://spark.a...原创 2019-10-20 21:30:06 · 4101 阅读 · 2 评论 -
基于Spark的电影推荐系统（推荐系统~3）
第四部分-推荐系统-3 本模块基于第2节加载到 数据仓库 里的数据做进一步的加工，加工后的数据主要用于 模型训练 。前置准备：本节我采用Spark on Yarn 来跑作业拓展：Hadoop YARN中内存的设置（1）yarn.scheduler.minimum-allocation-mb单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，...原创 2019-10-20 20:23:47 · 3283 阅读 · 0 评论 -
基于Spark的电影推荐系统（推荐系统~2）
第四部分-推荐系统-2 本模块完成数据清洗，并将清洗后的数据load到Hive数据表里面去r前置准备：spark +hivevim $SPARK_HOME/conf/hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>...原创 2019-10-20 19:45:53 · 5805 阅读 · 1 评论 -
基于Spark的电影推荐系统（推荐系统~1）
第四部分-推荐系统-1行业背景：快速：Apache Spark以内存计算为核心通用 ：一站式解决各个问题，ADHOC SQL查询，流计算，数据挖掘，图计算完整的生态圈只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速“猜你喜欢”为代表的推荐系统，从吃穿住行等项目背景介绍：本项目是一个基于Apache Spark 的电影推荐系统，技术路线：离线推荐+实时推荐...原创 2019-10-20 18:55:07 · 8058 阅读 · 1 评论 -
基于Spark的电影推荐系统（Scrapy爬虫）
第三部分-Scrapy爬虫（简介）软件架构： Scrapy框架+Python3+项目描述： 爬取国外电影网站的电影数据 ，保存到本地MySQL服务器技术选型：主要开发工具：JetBrains PyCharm : 开发IDE开发环境项目架构项目流程图更多文章：基于Spark的电影推荐系统：https://blog.youkuaiyun.com/liuge36/column/info/292...原创 2019-01-10 17:12:22 · 3237 阅读 · 1 评论 -
基于Spark的电影推荐系统（后台管理系统）
第二部分-后台管理系统（简介）ps:技术实现上类似于电影网站软件架构： SpringBoot+Mybatis+JSP项目描述： 后台管理系统主要对 用户信息 和 电影信息 进行管理，如添加删除电影信息和完成用户信息的完善。其中为了更好地保存电影的图片信息，搭建了图片服务器，关于图片服务器FastDFS的搭建可参考博客。技术选型：技术名称官网Spring Boot容...原创 2019-01-10 17:05:08 · 4488 阅读 · 0 评论 -
基于Spark的电影推荐系统（电影网站）
第一部分-电影网站：软件架构： SpringBoot+Mybatis+JSP项目描述：主要实现电影网站的展现 和 用户的所有动作的地方技术选型：技术名称官网Spring Boot容器https://projects.spring.io/spring-boot/Spring MVCMVC框架http://docs.spring.io/spring/docs...原创 2019-01-10 16:59:28 · 11877 阅读 · 5 评论 -
基于Spark的电影推荐系统（实战简介）
写在前面一直不知道这个专栏该如何开始写，思来想去，还是暂时把自己对这个项目的一些想法 和大家分享 的形式来展现。有什么问题，欢迎大家一起留言讨论。这个项目的源代码是在https://github.com/LuckyZXL2016/Movie_Recommend这个位置。基于源代码做了一些简单的调整。项目效果类似于国内豆瓣网站，能够在该项目-电影网站-进行电影信息浏览和查询，并且-电影网站...原创 2019-01-10 16:53:08 · 6300 阅读 · 2 评论