如何只使用标签来构建一个简单的电影推荐系统

推荐系统实践:基于数据集MovieLens构造简单推荐系统 摘要 本文基于 MovieLens 数据集构造了用户-电影项目评价矩阵,并基于评价矩阵计算两用户间的相似度,取出相似度最高的 N 个用户作为候选用户序列。接着筛选出这 N 个候选用户的高分电影项目且当前用户尚未观看,并根据这高分候选电影项目集合的电影类型,与当前用户所观影的全部电影类型做一个标签共现,预测当前用户对这些高分电影项目的评分,把预测评分最高的 M 个电影项目推荐给当前用户。 关键词:协同过滤;标签共现;电影推荐;Demo 实战验证 MovieLens 是蛮经典的数据集,在验证推荐算法的初期经常会 阅读详情

作者:Johnson Kuan

编译:ronghuaiyang

导读

使用基于内容的方法来找到最相似的电影。

No MIT chalkboard required

介绍

假设你正在推出下一个非常大的订阅视频点播(SVOD)流媒体服务,并且你已经获得了过去100年里发行的所有主要电影的流媒体权。祝贺你,这是不可思议的壮举!

现在你有了很多电影。如果没有推荐系统,你就会担心随着时间的推移,用户可能会被他们不关心的电影所淹没。这可能会导致客户流失,这是你最不想看到的!

所以你决定建立一个电影推荐系统。由于你的服务是新的,所以你还没有足够的数据来了解哪些用户正在观看哪些电影。这就是所谓的冷启动问题,它不能让你仅根据用户的历史收视记录来推荐电影。

幸运的是,即使没有足够的观看数据,我们仍然可以建立一个像样的电影元数据推荐系统。这就是MovieLens的作用所在。MovieLens提供了一个公共数据集,其中包含每个电影的关键字标签。这些标签信息量很大。例如,看看Good Will Hunting的最重要的社群标签。

在这篇文章的其余部分,我将回答三个业务问题,这三个问题对于构建一个简单的基于内容的推荐系统非常关键,其中的标签来自MovieLens:

  1. 每部电影需要多少个标签?

  2. 我们如何使用标签来衡量电影之间的相似性?

  3. 我们如何使用标签为用户生成电影推荐?


这个分析的代码可以在这里找到:https://github.com/JohnsonKuan/movie-rec-tags,以及数据和Conda环境YAML文件,以便你轻松地复现结果。

1) 每部电影我们需要多少个标签?

MovieLens标签数据集中大约有10K个不一样的电影和1K个不一样的标签。每部电影的每个标签都有一个相关分数,所以大约有1000万个电影标签对。相关性得分范围为0到1。

并不是每个标签都与电影相关,所以我们只需要保留最相关的标签。首先,我们可以根据相关评分对每部电影的标签进行排序。例如,下面是Remember the Titans的top10标签。请注意,相关性评分远远高于0.9,这表明它们是非常相关的标签。

基于相关性得分的前10个标签(降序排列)

接下来,我们在下面的图中确认,电影的高排名标签往往具有较高的中值相关性得分。电影的排第一个的标签的中值相关度几乎是1。我们可以看到,当我们下降到第50位时,中值相关性得分逐渐下降。

为了找到与电影最相关的标签,我们可以根据相关性评分保留电影的前N个标签。在这里,我们需要仔细挑选。如果N很小,我们有非常相关的但是很少的标签。如果N很大,我们有很多标签,但是其中很多可能是无关的。

下面的图显示了从第1个标签到第100个标签的中值的变化百分比。当相关性得分开始变得更稳定时,我们看到在第50位附近有一个拐点。因此,我们可以选择N=50作为每个电影保留的合理数量的标签。注意,这是一个相当简单的“拐点方法”风格的方法,可以在以后进行优化。

现在我们可以得到每个电影的前50个标签的列表,我们将在下一节中使用它们。例如,Toy Story的前50个标签如下。

2) 我们如何使用标签来度量电影之间的相似度?

在为用户生成电影推荐之前,我们需要一种基于电影的前50个标签的相似性度量方法。在基于内容的推荐系统中,用户将被推荐与他们已经看过的电影相似的电影。

在这里,我会演示两种度量相似性的方法:

  1. 两个电影标签集合的Jaccard Index

  2. 基于标签的电影向量(即内容嵌入)的余弦相似度。


Jaccard Index

使用Jaccard Index的第一种方法度量两个集合A和B之间的相似性,即交集的大小除以并集的大小。在度量电影之间的相似性时,我们可以计算这两组电影标签的索引。

![img](How to Build a Simple Movie Recommender System with Tags.assets/1_bBlhtLhCK95zNFGrGcUCTg.png)

例如,我们有三个电影下面和他们的前3个标签:

  • 电影A的标签 =(动作,空间,友情)

  • 电影B的标签=(冒险,太空,友谊)

  • 电影C的标签=(浪漫,喜剧,成长)

直观上,我们可以看出电影A与B更相似,而不是C。这是因为电影A和B共享两个标签(空间,友情),而电影A和C不共享任何标签。

下面是基于Jaccard Index的与Good Will Hunting相似的10部电影。对于Good Will Hunting的观众来说,这些建议似乎是合理的。注意,我在列表中包括了Good Will Hunting,以显示在比较电影本身时Jaccard Index=1。

基于Jaccard Index的标签集的类似Good Will Hunting的电影

以下是10部与Interstellar相似的电影。对于Interstellar的观众来说,这些建议似乎也很合理。

基于Jaccard Index的标签集的类似Interstellar的电影

为了进一步说明Jaccard Index的有效性,请看下面基于和Interstellar相似的电影的标签频率的词云。在这里,我们可以看到哪些标签在相似性计算中更加突出(例如科幻小说,伟大的结局,反乌托邦的未来,哲学,大脑)。

基于和Interstellar相似的电影的标签频率的词云

电影向量(也就是内容嵌入)的余弦相似度

第一个使用Jaccard Index的方法帮助我们建立了一种关于与标签相似的含义的直觉。基于余弦相似度的第二种方法稍微复杂一点。它要求我们把电影表示成一个向量。这里,向量就是一组数字。

例如,我们可以用三个实数来表示三个相同的电影:

  • 电影A = (1.1, 2.3, 5.1)

  • 电影B = (1.3, 2.1, 4.9)

  • 电影C = (5.1, 6.2, 1.1)

直观上,我们可以再次看到电影A与B更相似,而不是C。这是因为电影A和B在每个维度上有更接近的数字(例如第一个维度是1.1 vs 1.3)。

为了找到一个好的向量表示的电影,我使用了Doc2Vec (PV-DBOW)技术,我们拿到一个电影(文档),并基于标签(文档中的词)学习一个到潜在K维空间的映射。我不会在这里深入讨论细节,但这是我们如何基于标签将电影表示为向量的方法。

Doc2Vec论文中对PV-DBOW技术的可视化,对于每个段落ID (movie),我们训练一个模型来预测该段落中某个单词(movie tag)的共现性

一旦我们可以把每一部电影表示成一个向量,我们就可以计算向量之间的余弦相似度来找到相似的电影。我不会在这里详细介绍余弦相似度,但是在一个较高的层次上,它告诉我们电影向量彼此之间有多么相似,我们可以使用它来生成推荐。

下面我用UMAP在二维空间上可视化电影向量,这是一种流行的非线性降维技术。我们可以看到,在这个向量空间中距离较近的电影更加相似(例如Toy Story和Monsters等等)。

从电影标签语料库中学习电影向量

3) 我们如何使用标签为用户生成电影推荐?

现在我们可以使用标签来度量电影之间的相似性,我们可以开始为用户生成电影推荐。

请记住,在基于内容的推荐系统中,用户将被推荐与他们已经看过的电影相似的电影。如果用户只看过一部电影(如Good Will Hunting),我们可以像以前一样简单地使用Jaccard Index(或余弦相似度)来生成要推荐的类似电影的列表。

更实际的情况是,用户已经观看了一组电影,我们需要根据这些电影的组合属性来生成推荐。

一个简单的方法是计算一个用户向量,作为他们看过的电影向量的平均值。这些用户向量可以表示用户的电影偏好属性。

例如,如果用户只看过电影A和B:

  • 电影A = (1,2,3)

  • 电影B = (7,2,1)

  • 用户向量=电影A和B的平均 = (4,2,2)

以下是我喜欢看的电影。我们如何使用这些电影的标签生成电影推荐?

Interstellar, Good Will Hunting, Gattaca, Almost Famous, The Shawshank Redemption, Edge of Tomorrow, Jerry Maguire, Forrest Gump, Back to the Future

我的用户向量是上述9部电影的电影向量的平均值。我可以使用我的用户向量,找到我还没有看过的最相似的电影(基于余弦相似性)。下面是我的电影推荐,这是令人惊讶的好,考虑到我们在这里只是使用了电影标签!

The Theory of Everything
Cast Away
Dead Poets Society
Charly
Rain Man
Groundhog Day
Pay It Forward
A Beautiful Mind
E.T. the Extra-Terrestrial
Mr. Holland's Opus
On Golden Pond
It's a Wonderful Life
Children of a Lesser God
The Curious Case of Benjamin Button
Star Trek II: The Wrath of Khan
Cinema Paradiso
Mr. Smith Goes to Washington
The Terminal
Her
The World's Fastest Indian
The Truman Show
Star Trek: First Contact
The Family Man

下面总结一下我们基于内容的推荐系统。请注意,如果我们将系统部署为API,我们可以在批处理过程中预先计算用户向量和相似分数,以加快推荐的提供。

  • 输入:用户向量(从标签中学习到的电影向量的平均值)

  • 输出:基于用户和电影向量的余弦相似度,与用户相似的电影列表

英文原文:https://towardsdatascience.com/how-to-build-a-simple-movie-recommender-system-with-tags-b9ab5cb3b616

完)

Python电影推荐系统 Python实现基于皮尔森系数的协同过滤电影推荐。 爬虫获取用户数据 # -*- coding: utf-8 -*- """ 爬取豆瓣某影视的评分前100个用户,将他们的影评信息抓取下来作为movie.json 为了保证数据的可靠性,选择豆瓣电影top250 No.1的【肖申克的救赎】,热门影评的前100人作为数据 """ from urllib.request import urlopen from bs4 import BeautifulSoup import re import json imp 阅读详情

相关推荐

python+Django+Mysql+协同过滤电影推荐系统简介

电影推荐系统 技术采用 前端: bootstrap3 + vue + jquery 后端: django 2.2.1 +djangorestframework (MVC框架) 数据库: mysql 数据集: 豆瓣数据集+豆瓣电影爬虫+csv存储 movielens数据集+图片+用户数据和评分数据+csv存储 功能介绍 录入电影信息 用户打分 电影标签分类 电影推荐 电影分享 电影收藏 后台管理系统。 算法 基于用户的协同过滤 算法: 协同过滤, 根据用户的打分来进行推荐。从所有打分的用户中找

IceCola的博客 5444

推荐系统开发实战学习笔记(1)——第一个推荐系统:搭建电影推荐系统

数据集:用的是NetFlix数据集 文件解压包含一下几个文件: 1、README 描述性内容 2、movie_titles.txt 该文件表示电影相关信息 本实例依赖的是training_set.tar下的文件,因数据量比较大,因此随意选取1000个用户来进行实例开发。 # -*- encoding: utf-8 -*- import os import json import random import math class FirstRec: """初始化函数 filep

Math_girl的博客 2752

构建基于Mahout的电影推荐系统实战教程

本文还有配套的精品资源,点击获取 简介:本教程旨在指导如何使用Apache Mahout机器学习库开发一个电影推荐系统。Mahout提供了丰富的机器学习算法,包括协同过滤、聚类和分类等,其中协同过滤是推荐系统中常用技术。本教程分为数据准备、模型构建、预测与推荐、评估与优化四个步骤,并使用示例代码展示如何实现一个简单的电影推荐系统。推荐系统通过分析用户历史行为和偏好,向用户推...

weixin_42668301的博客 1321

《一种基于标签的电影组推荐方法》实现

本文是对论文《一种基于标签的电影组推荐方法》熊聪聪,林 颖,史艳翠,冯 阔 (天津科技大学人工智能学院,天津 300457)中,一些算法的实现。 代码实现: 结果: 使用数据集:https://share.weiyun.com/2UP7O67E...

qq_44647223的博客 935

基于MovieLens数据集构建电影推荐系统

MovieLens数据集作为研究推荐系统的一个经典案例,为研究者们提供了丰富的用户行为数据和电影内容信息。这个数据集包含了用户的评分、电影的元数据以及用户和电影的详细信息,是理解和开发推荐系统算法的理想工具。通过分析MovieLens,我们不仅能够了解到用户的偏好,还可以发现哪些因素对电影的受欢迎程度有显著影响。由于其开源性和实用性,MovieLens已被广泛应用于各个相关领域的研究之中。传统推荐系统主要依靠用户的历史行为、偏好信息等显式或隐式数据来生成推荐。

weixin_42298778的博客 1033

基于web个性化电影推荐系统

基于web端的个性化电影推荐系统设计与实现(源代码),采用Apache+Php+MySql框架,通过协同过滤算法对数据集进行训练,最终得到的结果存储到数据库中,web页面调用进行展示。

推荐系统学习(一)--电影推荐系统搭建

电影推荐系统

小尘_OnMyWay的博客 2745

自己动手搭建一个电影推荐系统

自己动手搭建电影推荐系统的可以借鉴, 高手的力作,重要的实现部分有具体代码,开发者可以借鉴

【毕业设计】SpringBoot+Vue+MySQL 个性化电影推荐系统平台源码+数据库+论文+部署文档

【毕业设计】SpringBoot+Vue+MySQL 个性化电影推荐系统平台源码+数据库+论文+部署文档,拿走直接用(附源码,数据库,视频,可提供说明文档(通过。在校期间积极参与实验室项目研发,现为优快云特邀作者、掘金优质创作者。技术包括:MySQL、VueJS、ElementUI、(Python或者Java或者.NET)等等。专业毕业设计指导、项目源码开发、技术答疑解惑,用学生视角理解学生需求,提供最贴心的技术帮助。遇见即是缘,欢迎交流,你别地能找到的源码我都有!可以直接联系我查看详细视频,个性签名!

麦田上的预备码农 10

电影推荐系统

推荐系统,python的。基于协同过滤算法。我觉得还行。没问题

movie_recommend_system:一个简单的电影推荐系统

更新日志 2018-6-17更新推荐方法接口 一个简单的电影推荐系统。 目录 :模型一瞥 :模型结构 :整体文件结构 :模型实现细节 :简单使用教程 1.一瞥 模型移植至仓库 ,原作者使用的是TensorFlow-1.0,本仓库得到作者允许后,使用PyTorch-0.4.0的移植版本。的详细实现说明,造成我在复现过程中省去了很多麻烦。 模型使用了movieLens-1m的数据集进行训练,建模用户-电影-评分数据,要实现给定用户和电影ID,预测用户对于电影的评分。在推荐系统领域,就是一个评分的任务。 2.模型概述 注:图片来源原作者仓库 模型基本就是使用双通道网络来实现推荐系统领域比较有效的基于评分的SVD ++模型。这里简单讲下什么是SVD ++ SVD ++ : 简单来说,SVD就是使用奇异值矩阵分解的方法,将推荐系统中的两个输入:用户矩阵和物品矩阵映射到隐藏空间,得到两个致密的隐藏矢

简单的豆瓣电影推荐系统demo

推荐系统demo初体验

徐思孟的博客 7254

Multisim 11.0的安装破解汉化步骤

15:打开注册机,选择管理员运行,默认第一项,选择生成文件路径,这里不要随意选择,要找到你安装Multisim安装路径下Shard下的License Manager路径下,否则会报错,破解失败。14:后面会出现一个更新提示,选择否,然后选择重启电脑后,先不要选择重启电脑,在这里出现了问题(可能敲击回车,默认去重启电脑了),所以我说不要重启电脑,重启破解时右下角出现这,点击否。17:重启电脑,如果前面重启过,那可以跳过重启,应用程序下找到下图所示,启动。16:点击确认覆盖,路径下生成了该文件。

qq_53260940的博客 2380

个性化电影推荐系统——Python实现

在当今信息爆炸的时代,随着互联网的普及和数字化娱乐的不断涌现,电影推荐系统作为一种个性化服务系统变得愈发重要。传统的电影推荐往往依赖于一般性的推荐或流行趋势,而这种静态的推荐难以满足用户多样化、个性化的需求。在这样的背景下,构建一个基于用户行为和偏好的个性化电影推荐系统显得尤为重要和必要。用户体验的提升:提供定制化的电影推荐服务能够有效地提升用户体验。通过了解和分析用户的历史偏好和行为,推荐系统可以向用户展示更符合其口味和兴趣的电影,从而增强用户的满意度。

m0_68529880的博客 4001

金融科技数据源

数字金融开放研究平台

平平淡淡,戒急用忍,一生学闭嘴。 1763

【TC3xx芯片】TC3xx芯片PFlash的ECC校验问题补充

TC3xx芯片PFlash的ECC校验问题补充

qq_36056498的博客 1155

融合知识图谱的电影推荐系统构建_图谱构建

项目的图谱构建部分

徐思孟的博客 4579

用扩展点为 Fiori Elements 添加自定义动作:从原理到落地的完整实践

本文介绍了如何在基于OData V4的Fiori Elements应用中通过Extension Points添加自定义Action按钮。主要内容包括: 扩展点动作与标准注解动作的区别:扩展点用于非标准前端流程、组合操作等场景,需通过extensionAPI与框架交互。 扩展点动作的插入位置:可放置在List Report表格工具栏、Object Page页眉/页脚/Section工具栏等位置,并说明了相应的manifest.json配置节点。 配置模型与处理函数契约:详细说明了press、visible/e

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 250

基于用户画像的电影推荐系统使用教程

本项目是基于用户画像的电影推荐系统,旨在为用户提供个性化的电影推荐。系统采用 Django 作为基础框架,使用 MongoDB、MySQL 和 Redis 作为数据库,通过从豆瓣平台爬取的电影数据作为基础数据源。系统利用用户的基本信息和使用操作记录等行为信息来开发用户标签,并使用 Hadoop、Spark 大数据组件进行分析和处理,实现精准推荐。 ## 2、项目快速启动 ### 环境准备 -

gitblog_01021的博客 837

5、AIX系统硬件管理与故障诊断全解析

本文全面解析了AIX系统的硬件管理与故障诊断方法,涵盖系统管理服务(SMS)的使用、设备兼容性配置、设备配置数据库结构、常用命令如cfgmgr、lsattr、smitty devices的操作详解,并深入介绍了错误日志管理机制,包括errdemon、errpt、errlogger等命令的应用。通过实际案例分析和流程图展示,帮助系统管理员掌握从问题怀疑到诊断执行再到日志清理的完整流程,同时提供注意事项与最佳实践,助力AIX系统的稳定运行与高效维护。

y2z3a4b5c的博客 63

【OpenCV实战】简洁易懂的车牌号识别Python+OpenCV实现“超详解”(含代码)

简洁易懂的车牌号识别Python实现(含代码)1、整体思路2、代码详解 1、整体思路 2、代码详解

qq_40784418的博客 9万+

基于PythonDjango框架的电影推荐系统

电影推荐系统能给用户带来便利.本文要实现的是一个面向用户的个性化电影推荐系统,根据 movielens数据集里面大量用户对电影的评分数据,通过计算用户相似性、电影相似性,实现为用户推荐符合其兴趣的电影。网站的用户数量随着网站的性能和功能的不断变化,在保证网站性能的前提下,不断满足更多用户的需求,并不断地进行规划、设计和系统维护。电影信息摘要,了解网站建设的目标和具体要求,功能实现中的每一个具体的目标和功能的技术,同时也考虑到需要什么条件和多少人需要实现,并列出每个具体目标的内容,任务列表。

毕业作品网站 4487

华为OD技术面八股文_C++_02

汇总华为OD面试C++方面计数八股文真题,提供详细解答。

qq_45776114的博客 770
上一篇: Python 开发一个间谍小程序
下一篇: 没想到 Python 中竟然还藏着这些稀奇古怪的东西...
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值