推荐系统相关算法(1):SVD

用奇异值分解(SVD)方法分析兴趣相似度 如果你和朋友俩人都喜欢看《泰坦尼克》、《西雅图未眠人》、《廊桥遗梦》,但都不爱看《黑客帝国》、《盗梦空间》,那你们之间的兴趣一定很接近。人脑很容易根据一系列“AlikeX”的信息做出直觉的判断,但人脑能处理的数据量太小,也太慢,需要有算法来让计算机也能自动处理这样的兴趣相似度分析。线性代数中的矩阵奇异值分解(Singular Value Decomposition,或SVD)就是这样的算法... 阅读详情

http://www.cnblogs.com/FengYan/archive/2012/05/06/2480664.html

上面是原文地址

1. SVD简介

假如要预测Zero君对一部电影M的评分,而手上只有Zero君对若干部电影的评分和风炎君对若干部电影的评分(包含M的评分)。那么能预测出Zero君对M的评分吗?答案显然是能。最简单的方法就是直接将预测分定为平均分。不过这时的准确度就难说了。本文将介绍一种比这个最简单的方法要准上许多,并且也不算复杂的算法。
      SVD(Singular Value Decomposition)的想法是根据已有的评分情况,分析出评分者对各个因子的喜好程度以及电影包含各个因子的程度,最后再反过来根据分析结果预测评分。电影中的因子可以理解成这些东西:电影的搞笑程度,电影的爱情爱得死去活来的程度,电影的恐怖程度。。。。。。SVD的想法抽象点来看就是将一个N行M列的评分矩阵R(R[u][i]代表第u个用户对第i个物品的评分),分解成一个N行F列的用户因子矩阵P(P[u][k]表示用户u对因子k的喜好程度)和一个M行F列的物品因子矩阵Q(Q[i][k]表示第i个物品的因子k的程度)。用公式来表示就是
R = P * T(Q)               //T(Q)表示Q矩阵的转置

     下面是将评分矩阵R分解成用户因子矩阵P与物品因子矩阵Q的一个例子。R的元素数值越大,表示用户越喜欢这部电影。P的元素数值越大,表示用户越喜欢对应的因子。Q的元素数值越大,表示物品对应的因子程度越高。分解完后,就能利用P,Q来预测Zero君对《七夜》的评分了。按照这个例子来看,Zero君应该会给《七夜》较低的分数。因为他不喜欢恐怖片。注意不要纠结图中的具体数值,因为那些数值是我随便填上去的。


实际上,我们给一部电影评分时,除了考虑电影是否合自己口味外,还会受到自己是否是一个严格的评分者和这部电影已有的评分状况影响。例如:一个严格评分者给的分大多数情况下都比一个宽松评分者的低。你看到这部电影的评分大部分较高时,可能也倾向于给较高的分。在SVD中,口味问题已经有因子来表示了,但是剩下两个还没有相关的式子表示。因此有必要加上相关的部分,提高模型的精准度。改进后的SVD的公式如下:
R = OverallMean + biasU + biasI + P * T(Q)    (1)
其中OverallMean表示所有电影的平均分,biasU表示用户评分偏离OverallMean的程度,biasI表示电影评分偏离OverallMean的程度,P,Q意思不变。特别注意,这里除了OverallMean之后,其它几个都是矩阵。

     分解完后,即(1)式中的五个参数都有了正确的数值后,就可以用来预测分数了。假设我们要预测用户u对电影i的评分:


2. SVD实现


 在第一部分的例子中,你也许会有疑问:明明评分矩阵有一个元素的值是空的,为什么还能得到两个完整的矩阵P和Q呢?原因是那两个矩阵是通过学习(learning)得到的。SVD使用随机梯度下降(stochastic gradient descent)学习(1)式中除了OverallMean之外的参数。学习过程可以概括成这样:先给各个参数一个初值,然后利用这些参数进行预测,并将预测结果与已知评分进行对比,最后根据对比结果修正各个参数。更准确点的说法是调整参数的值,使得以下式子能取到最小值:


ALPHA表示所有训练样本。被第一个圆括号括着的部分表示当前的预测结果与实际值的偏差。被第二个圆括号括着的部分是为了防止过拟合(overfitting)。

     以上就是SVD实现时的主要思想了,至于具体实现可以参考我的代码。这个实现版本在movielens 1M上的效果比《A Guide to Singular Value Decomposition for Collaborative Filtering》中提到的要好一点点。这里,我主要提一下实现SVD时要注意的地方:
a. 更新qi时,要先保存
b. 预测分数时,范围要限制在最小值和最大值内

     此外,这是我找到的一些有用的建议:
a. 所有参数的regularization 值是一样的,不用特别区分bu, bi和 p,q
b. bu, bi不需要初始化,全部设成0
c. P,Q应该的初始化,一般使用  0.1 * rand(0,1) / sqrt(dim)  dim指特征的维数

           


推荐系统算法(MF、FM、CF、SVD、LFM、SVD++、TItemCF、timeSVD++、模型融合) 1.传统的SVD分解 对于如何补全一个矩阵,历史上有过很多的研究。一个空的矩阵有很多种补全方法,而我们要找的是一种对矩阵扰动最小的补全方法。那么什么才算是对矩阵扰动最小呢?一般认为,如果补全后矩阵的特征值和补全之前矩阵的特征值相差不大,就算是扰动比较小。所以,最早的矩阵分解模型就是从数学上的SVD(奇异值分解)开始的。给定m个用户和n个物品,和用户对物品 奇异值分解将矩阵分解为奇异值和奇异向量 ... 阅读详情

相关推荐

推荐系统 - 矩阵分解(SVD)原理和实战

一. 特征分解 1.1 特征求解: 1.2 标准化: 1.3 特征分解条件 二. SVD 2.1 定义 2.2 求解方法 2.3 相关特性  2.4 SVD的python实现 2.5 SVD在PCA中的应用 三. 推荐系统中的SVD 3.1 问题定义 3.2 SVD应用 3.2.1 traditional-SVD 3.2.2FunkSVD 3.2.3 BiasSVD 3.2.4SVD++ 3.3 矩阵分解推荐小结 3.4 SVD实现用户评分预测(MovieLens数据

RecDay2018's Blog 8143

SVD 详解 与 spark实战

1.前言一般提到特征值分解(eigenvalue decomposition)或者奇异值分解(singular value decomposition),大多数同学脑海里的第一反应就是一大堆矩阵以及数学计算方法。确实,学校学习阶段,不管是学线性代数或者矩阵分析,对于这部分内容,或者说绝大部分内容,老师一上来都是吧啦吧啦给你一堆定理推论或者公理,然后就是哗啦哗啦一堆公式出来,告诉你怎么计算。最后再讲个

bitcarmanlee的博客 3万+

SVD算法个人总结

SVD的应用 利用SVD,我们可以简化数据,使用小很多的数据集来表示原始数据集。这样做,实际上去除了噪声和冗余信息。我们可以把SVD看成是从有噪声的数据中抽取相关特征。下面是SVD的主要应用。 隐性语义索引 SVD最早的应用之一就是信息检索。我们称利用SVD的方法为隐性语义索引(LSI)或隐性语义分析(LSA)。 在LSI中,一个矩阵是由文档和词语共同组成的。当我们在该矩阵上应用SVD的时候,就会...

wh_0701的博客 4044

SVD奇异值分解与NMF

奇异值分解(SVD)原理详解及推导  SVD在推荐系统中的应用详解以及算法推导  推荐系统相关算法(1):SVD

Marshall的专栏 4157

矩阵分解模型——SVD与SVD++

这里写目录标题SVDFunk-SVDBias-SVDSVD++ SVD 正交矩阵:AAT=InAA^T=I_nAAT=In​ 正定矩阵:对任意非零实向量xxx,有xAxT>0xAx^T>0xAxT>0,则AAA为正定矩阵,若xAxT≥0xAx^T\ge0xAxT≥0则AAA为半正定矩阵 酉矩阵:UHU=UUH=InU^HU=UU^H=I_nUHU=UUH=In​,其中H^HH表示共轭转置,则UUU为酉矩阵 正规矩阵:UHU=UUHU^HU=UU^HUHU=UUH,其中H^HH表示共轭转置

weixin_44750583的博客 5377

稳定性性能系列之十五——系统稳定性监控体系建设:从指标到预警的完整方案

深入探讨Android系统稳定性监控体系的设计与实现,涵盖指标体系设计、数据采集方案、异常检测算法、预警响应机制,并提供完整的监控平台搭建实践。

Cheson的专栏 1361

【机器学习实战-14章】利用SVD简化数据

SVD是一种强大的降维工具,我们可以利用SVD来逼近矩阵并从中提取重要特征。通过保留矩阵80%-90%的能量,就可以得到重要的特征并去掉噪声。

lynn_flame的博客 608

PaddleOCR在医疗票据识别中的实战:从部署到业务字段提取

本文详细介绍了PaddleOCR在医疗票据识别中的实战应用,重点阐述了其离线部署方案与PP-OCRv3模型选型优势。针对医疗票据敏感数据不出本地的合规要求,文章提供了从环境搭建、模型配置到核心字段提取策略的完整流程,并分享了性能优化与系统集成的实践经验,有效解决了医疗票据自动化录入的难题。

weixin_29271053的博客 238

相关系数、矩阵秩与条件概率在AI面试中的核心应用

相关系数是统计学中衡量变量间线性关系的重要指标,Pearson相关系数通过协方差与标准差的比值量化这种关系。矩阵秩作为线性代数的核心概念,通过奇异值分解(SVD)可有效计算,在机器学习降维和推荐系统中具有关键作用。条件概率则基于贝叶斯定理,是概率统计与机器学习的基础。这些数学工具在AI算法面试中被高频考察,特别是在特征选择、模型评估等场景。华为等企业的技术面试常要求候选人能推导公式并编程实现,如用Python的NumPy进行矩阵运算或Java实现SVD。掌握这些概念对通过算法面试至关重要。

weixin_30897079的博客 396

解决Docker拉取镜像报错:Get https://registry-1.docker.io/v2/: 报错

解决Docker拉取镜像报错: Get “https://registry-1.docker.io/v2/”: net/http: request canceled while waiting for connection问题描述Get "https://registry-1.docker.io/v2/"是docker官方的镜像源,下载很慢的,一般会自己指定国内映射的加速镜像源。

qq_33650333的博客 4174

Acer宏碁暗影骑士擎AN515-58原厂系统恢复指南:从ISO镜像到完整出厂设置

本文详细介绍了为Acer宏碁暗影骑士擎AN515-58游戏本恢复原厂系统的完整指南。从准备工作、数据备份到下载官方镜像、制作恢复U盘,再到BIOS设置与恢复流程,一步步教你如何将系统完整还原至出厂状态,确保所有硬件驱动、NITROSENSE控制中心等专属优化功能恢复正常,解决系统卡顿、功能异常等问题。

weixin_29271263的博客 1114

基于SVD算法的电影推荐系统实验

基于SVD算法的电影推荐系统实验推荐系统发展简单思维导图电影推荐系统最初思路程序实现的功能程序整体框架基于关键字搜索推荐模块搜索推荐模块代码基于电影名称关键字的推荐模块基于电影类型搜索的推荐模块新用户电影推荐模块新用户推荐效果老用户电影推荐模块老用户推荐效果数据可视化用户评分相似度矩阵可视化准确率与召回率可视化(SVD)平均准确率与召回率(SVD) 推荐系统发展简单思维导图 电影推荐系统最初思路 原本是想实现一些基本的基于协同过滤思想的推荐系统设计,写完代码之后发现效果不理想。因为是要交的实验报告,所以

young_monkeysun的博客 5208

安装部署 Guacamole 远程桌面网关

Guacamole 是Apache基金会提供的一组基于web的远程桌面访问工具,支持 VNC、RDP、SSH、 Telnet 等协议,支持远程透传音视频。

UsamaBinLaden6976498的专栏 1964
上一篇: 如何运用SCRAPY+MySQL抓取相关信息
下一篇: 学习了挺长时间的 gdb, makefile 总结一下,加油!
apachephpmysql
博客等级 码龄14年 4粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值