机器学习之奇异值分解SVD及应用于协同过滤推荐和LSA潜在语义分析

最新推荐文章于 2023-01-01 14:50:40 发布
置顶 最新推荐文章于 2023-01-01 14:50:40 发布
阅读量1.4k 收藏 10
点赞数 1
分类专栏： python 机器学习 文章标签： 机器学习 svd python LSA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/changzoe/article/details/78871871
版权
本文介绍了隐形语义分析（LSA）和奇异值分解（SVD）在自然语言处理中的应用。LSA通过词-文档矩阵和SVD进行降维，揭示词语间的语义相似性。同时，SVD也被用于协同过滤推荐系统，通过计算用户与物品的相似度来推荐个性化内容。文章还讨论了推荐系统的评价标准，如RMSE，并提供了SVD在LSA降维中的数学解析和实例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

隐形语义分析LSA

隐形语义分析（LSA）是一种自然语言处理中用到的方法，又称为隐形语义索引 LSI，其通过“矢量语义空间”来提取文档与词中的“概念”，进而分析文档与词之间的关系。LSA的基本假设是，如果两个词多次出现在同一文档中，则这两个词在语义上具有相似性。LSA使用大量的文本上构建一个矩阵，这个矩阵的一行代表一个词，一列代表一个文档，矩阵元素代表该词在该文档中出现的次数，然后再此矩阵上使用奇异值分解（SVD）来保留列信息的情况下减少矩阵行数，之后每两个词语的相似性则可以通过其行向量的cos值（或者归一化之后使用向量点乘）来进行标示，此值越接近于1则说明两个词语越相似，越接近于0则说明越不相似。

词-文档矩阵（Occurences Matrix)

LSA 使用词-文档矩阵来描述一个词语是否在一篇文档中。词-文档矩阵式一个稀疏矩阵，其行代表词语，其列代表文档。一般情况下，词-文档矩阵的元素是该词在文档中的出现次数，也可以是是该词语的tf-idf(term frequency–inverse document frequency)

降维

在构建好词-文档矩阵之后，LSA将对该矩阵进行降维，来找到词-文档矩阵的一个低阶近似。降维的原因有以下几点：

  • 原始的词-文档矩阵太大导致计算机无法处理，从此角度来看，降维后的新矩阵式原有矩阵的一个近似。
  • 原始的词-文档矩阵中有噪音，从此角度来看，降维后的新矩阵式原矩阵的一个去噪矩阵。
  • 原始的词-文档矩阵过于稀疏。原始的词-文档矩阵精确的反映了每个词是否“出现”于某篇文档的情况，然而我们往往对某篇文档“相关”的所有词更感兴趣，因此我们需要发掘一个词的各种同义词的情况。

由于降维要用到SVD，下边介绍矩阵分解SVD

SVD

奇异值分解原理

这里写图片描述

这里写图片描述 矩阵只有对角元素，其余元素为0 ，将这些对角元素从大到小排列，我们称为奇异值。
一般PCA用的是矩阵的特征值，奇异值其实就是Data * Data^T 的特征根
：原理
http://blog.youkuaiyun.com/zhongkejingwang/article/details/43053513

python实现
基于numpy包的linalg就可实现

from numpy import *  
'''
生成数据
'''  
def loadExData():  
    return[[0, 0, 0, 2, 2],  
           [0, 0, 0, 3, 3],  
           [0, 0, 0, 1, 1],  
           [1, 1, 1, 0, 0],  
           [2, 2, 2, 0, 0],  
           [5, 5, 5, 0, 0],  
           [1, 1, 1, 0, 0]] 

data = loadExData()
U,Sigma,VT=linalg.svd(data)
Sigma
array([  9.64365076e+00,   5.29150262e+00,   6.51609210e-16,
         2.14818942e-16,   5.18511491e-17])

其中S向量只存储了对角元素的成分，可以大大节省存储空间。接下来我们就需要保留部分奇异值，，一个典型的方法就是奇异值的平方和的累加总值为90%为止。另一种方法就是，有千万的奇异值时，只保留2000或3000个。

应用：

基于协同过滤的推荐引擎

基于用户与其他用户的数据进行对比来实现精确推荐
比如说对于用户没有看过的电影，我们只需要计算与用户看过的电影中的高评分电影的相似度，然后推荐相似度高的电影即可

相似度计算

def ecludSim(inA,inB):  
    return 1.0/(1.0 + la.norm(inA - inB))  #计算向量的第二范式,相当于直接计算了欧式距离  

def pearsSim(inA,inB):  
    if len(inA) < 3 : return 1.0  
    return 0.5+0.5*corrcoef(inA, inB, rowvar = 0)[0][1] #corrcoef直接计算皮尔逊相关系数  

def cosSim(inA,inB):  
    num = float(inA.T*inB)  
    denom = la.norm(inA)*la.norm(inB)  
    return 0.5+0.5*(num/denom)  #计算余弦相似度

注意，计算相似度后，最好把数据归一化，一般归一化到0-1的范围。计算相似度中我们一般考虑使用基于物品的相似度的分析。原因是由实际考虑的。设想你有一个商店，商品种类可能不太会变动，但是用户不断进进出出，那么计算那个方便呢！ 对，由于物品的稳定性更高，计算量小，那么就基于物品的推荐即可。

推荐引擎的评价
常用RMSE

推荐未评级的
（1）收集数据！
（2）建立用户评价矩阵
（3）针对特定用户，找到其没有评价的物品，计算其评分
（4）将预测的物品评分从大到小排序，然后推荐给用户。

def standEst(dataMat, user, simMeas, item):
    n = shape(dataMat)[1]
    simTotal = 0.0; ratSimTotal = 0.0
    for j in range(n):
        userRating = dataMat[user,j]
        if userRating == 0: continue
        overLap = nonzero(logical_and(dataMat[:,item].A>0, \ #.A将矩阵转化成array
                                      dataMat[:,j].A>0))[0]  #给出两个物品中已经被评分的元素
        if len(overLap) == 0: similarity = 0
        else: similarity = simMeas(dataMat[overLap,item], \
                                   dataMat[overLap,j])
        print('the %d and %d similarity is: %f' % (item, j, similarity))
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    else: return ratSimTotal/simTotal

def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
    unratedItems = nonzero(dataMat[user,:].A==0)[1]#find unrated items 
    if len(unratedItems) == 0: return 'you rated everything'
    itemScores = []
    for item in unratedItems:
        estimatedScore = estMethod(dataMat, user, simMeas, item)
        itemScores.append((item, estimatedScore))
    return sorted(itemScores, key=lambda jj: jj[1], reverse=True)[:N] #对列表进行从大到小逆序排列并返回前N个值

尝试推荐

data = loadExData()

mymat=mat(data)

recommend(mymat,2)

>>>[(2, 2.5), (1, 2.0243290220056256)]

这表明用户2对物品2（矩阵第三行）的预测评分是2.5，物品1是2.05

利用SVD提高推荐的效果

#引入更稀疏矩阵
def loadExData2():
    return[[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],
           [0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],
           [0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],
           [5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],
           [0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],
           [4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],
           [0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],
           [0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],
           [1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]]

利用SVD可以将上诉11维矩阵简化为3维

def svdEst(dataMat, user, simMeas, item):
    n = shape(dataMat)[1]
    simTotal = 0.0; ratSimTotal = 0.0
    U,Sigma,VT = la.svd(dataMat)
    Sig4 = mat(eye(4)*Sigma[:4]) #arrange Sig4 into a diagonal matrix
    xformedItems = dataMat.T * U[:,:4] * Sig4.I  #create transformed items
    for j in range(n):
        userRating = dataMat[user,j]
        if userRating == 0 or j==item: continue
        similarity = simMeas(xformedItems[item,:].T,\
                             xformedItems[j,:].T)
        print('the %d and %d similarity is: %f' % (item, j, similarity))
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    else: return ratSimTotal/simTotal
mymat=loadExData2()
mtmat=mat(mymat)
recommend(mymat,1,estMethod=svdEst)

[(2, 3.4177569186592378), (1, 3.3307171545585641)]

完整代码：

# -*- coding: utf-8 -*-
"""
Created on Fri Dec 22 15:22:36 2017

@author: elenawang
"""

from numpy import *
from numpy import linalg as la

def loadExData():
    return[[0, 0, 0, 2, 2],
           [0, 0, 0, 3, 3],
           [0, 0, 0, 1, 1],
           [1, 1, 1, 0, 0],
           [2, 2, 2, 0, 0],
           [5, 5, 5, 0, 0],
           [1, 1, 1, 0, 0]]

def loadExData2():
    return[[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],
           [0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],
           [0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],
           [5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],
           [0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],
           [4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],
           [0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],
           [0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],
           [1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]]

def ecludSim(inA,inB):
    return 1.0/(1.0 + la.norm(inA - inB))

def pearsSim(inA,inB):
    if len(inA) < 3 : return 1.0
    return 0.5+0.5*corrcoef(inA, inB, rowvar = 0)[0][1]

def cosSim(inA,inB):
    num = float(inA.T*inB)
    denom = la.norm(inA)*la.norm(inB)
    return 0.5+0.5*(num/denom)

def standEst(dataMat, user, simMeas, item):
    n = shape(dataMat)[1]
    simTotal = 0.0; ratSimTotal = 0.0
    for j in range(n):
        userRating = dataMat[user,j]
        if userRating == 0: continue
        overLap = nonzero(logical_and(dataMat[:,item].A>0, \
                                      dataMat[:,j].A>0))[0]
        if len(overLap) == 0: similarity = 0
        else: similarity = simMeas(dataMat[overLap,item], \
                                   dataMat[overLap,j])
        print('the %d and %d similarity is: %f' % (item, j, similarity))
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    else: return ratSimTotal/simTotal

def svdEst(dataMat, user, simMeas, item):
    n = shape(dataMat)[1]
    simTotal = 0.0; ratSimTotal = 0.0
    U,Sigma,VT = la.svd(dataMat)
    Sig4 = mat(eye(4)*Sigma[:4]) #arrange Sig4 into a diagonal matrix
    xformedItems = dataMat.T * U[:,:4] * Sig4.I  #create transformed items
    for j in range(n):
        userRating = dataMat[user,j]
        if userRating == 0 or j==item: continue
        similarity = simMeas(xformedItems[item,:].T,\
                             xformedItems[j,:].T)
        print('the %d and %d similarity is: %f' % (item, j, similarity))
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    else: return ratSimTotal/simTotal

def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
    unratedItems = nonzero(dataMat[user,:].A==0)[1]#find unrated items 
    if len(unratedItems) == 0: return 'you rated everything'
    itemScores = []
    for item in unratedItems:
        estimatedScore = estMethod(dataMat, user, simMeas, item)
        itemScores.append((item, estimatedScore))
    return sorted(itemScores, key=lambda jj: jj[1], reverse=True)[:N]

LSA降维

假设X是词-文档矩阵，其元素（i,j）代表词语i在文档j中的出现次数，则X矩阵看上去是如下的样子：

tTi→
最低0.47元/天 解锁文章
奇异值分解SVD及其应用
AI天才研究院
05-28 838
奇异值分解SVD及其应用 1.背景介绍 1.1 什么是奇异值分解(SVD) 奇异值分解(Singular Value Decomposition, SVD)是一种线性代数分解技术,可将任意矩阵分解为三个矩阵的乘积形式。SVD在许多领域都有广泛
机器学习（七） 奇异值分解-SVD
weixin_42438712的博客
11-26 791
同步更新在个人网站：http://www.wangpengcufe.com/machinelearning/ml-ml7/ 降维（Dimensionality Reduction） 是机器学习中的一种重要的特征处理手段，它可以减少计算过程中考虑到的随机变量（即特征）的个数，其被广泛应用于各种机器学习问题中，用于消除噪声、对抗数据稀疏问题。它在尽可能维持原始数据的内在结构的前提下，得到一组描述原数...
SVD（奇异值分解）与LSA（潜在语义分析）
上帝是个娘们的博客
09-08 2012
特征值与特征向量 在讲解SVD(奇异值分解)之前，首先回顾一下线性代数中的特征值分解，对于一个n∗nn*nn∗n的矩阵AAA，存在实数λ和n维向量x\lambda和n维向量xλ和n维向量x，使得下式成立： (1)Aλ=λx \tag{1} A\lambda = \lambda x Aλ=λx(1) 那么称λ为A\lambda为Aλ为A的一个特征值，称x为Ax为Ax为A的一个特征向量。 相似对角化 ...
NLP中隐性语义分析及奇异值分解（SVD）-学习笔记
崔洪振367
01-01 1531
隐形语义分析基于最古老和最常用的降维技术–奇异值分解(SVD)。SVD将一个矩阵分解成3个方阵，其中一个是对角矩阵。
SVD分解与文本挖掘（潜在语义索引LSI）
weixin_33670713的博客
05-06 406
2019独角兽企业重金招聘Python工程师标准>>> ...
从奇异值分解(SVD)看潜在语义索引(LSI)
xiaoyu714543065的专栏
07-15 4730
1. SVD 简介     SVD中文称为“奇异值分解”，是一种矩阵分解方法。其公式如下：     定理：设A为m*n阶复矩阵，则存在m阶矩阵U和n阶矩阵V，使得： 　　    A = U*S*V’　　   其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。      其中 A 矩阵是我们初始的特征矩阵，在文本挖掘中：A就是 t (ter
NLP --- 文本分类（基于SVD的隐语意分析（LSA））
进击的菜鸟
12-29 5582
上一节我们详细的讲解了基于VSM的文本分类，这种分类在很早就出现了，虽然是文本分类中有效的分类手段，但是因为建立的向量是很多维的，因此容造成维度灾难，同时VSM的没有能力处理一词多义和一义多词问题，例如同义词也分别被表示成独立的一维，计算向量的余弦相似度时会低估用户期望的相似度；而某个词项有多个词义时，始终对应同一维度，因此计算的结果会高估用户期望的相似度。汉语用户倾向于频繁使用近义词显示“辞藻丰...
机器学习-基于协同过滤的智能推荐（含数据集）
最新发布
03-10
模型基础的协同过滤则通过构建一个预测模型来预测用户对于物品的喜好程度，常见的模型包括矩阵分解（如奇异值分解SVD）、潜在语义模型（LSA）和基于概率的模型等。这些模型在处理大规模数据时更加高效，也更容易加入...
python奇异值分解_python机器学习（七） 奇异值分解-SVD
weixin_42165508的博客
02-10 2373
降维(Dimensionality Reduction) 是机器学习中的一种重要的特征处理手段，它可以减少计算过程中考虑到的随机变量(即特征)的个数，其被广泛应用于各种机器学习问题中，用于消除噪声、对抗数据稀疏问题。它在尽可能维持原始数据的内在结构的前提下，得到一组描述原数据的，低维度的隐式特征(或称主要特征)。简单来说，在高维数据中筛选出对我们有用的变量，减小计算复杂度提高模型训练效率和准确率，...
SVD分解——>潜在语义分析LSA(I)——>概率性潜在语义分析PLSA(I)
十三
01-06 3453
SVD分解 正交矩阵：若一个方阵其行与列皆为正交的单位向量，则该矩阵为正交矩阵，且该矩阵的转置和其逆相等。两个向量正交的意思是两个向量的内积为 0。 正定矩阵：如果对于所有的非零实系数向量 zzz，都有zTAz&amp;amp;amp;amp;gt;0z^TAz&amp;amp;amp;amp;gt;0zTAz&amp;amp;amp;gt;0，则称矩阵AAA是正定的。正定矩阵的行列式必然大于 0，所有特征值也必然 &amp;amp;amp;gt; 0。相对应的，半正
[图像] 奇异值分解与隐性语义分析
(ง •̀_•́)ง
01-18 1484
对于一个mxn大小的矩阵，可以分解为以下三个矩阵的乘积。       其中，U和V都是正交矩阵（矩阵与其倒置矩阵的乘积为单位矩阵），是对角矩阵（对角线外的值都是0）。     进行SVD分解的方法：     首先要知道矩阵的秩，也就是最大线性不相关的行（列）向量的个数，比如对于以下两个矩阵           矩阵1           矩阵2      第一个矩阵两行（
主题模型TopicModel：LSA（隐性语义分析）模型和其实现的早期方法SVD
皮皮blog
01-09 1万+
LSA and SVD LSA(隐性语义分析)的目的是要从文本中发现隐含的语义维度-即“Topic”或者“Concept”。我们知道，在文档的空间向量模型（VSM）中，文档被表示成由特征词出现概率组成的多维向量，这种方法的好处是可以将query和文档转化成同一空间下的向量计算相似度，可以对不同词项赋予不同的权重，在文本检索、分类、聚类问题中都得到了广泛应用，在基于贝叶斯算法及KNN算法的ne
LSA潜在语义分析中SVD的三个矩阵介绍
baidu_15113429的博客
06-29 774
奇异值分解在LSI中的应用LSI的学习连接
LSI隐性语义索引/LSA 隐性语义分析
qq_19080333的博客
09-17 412
在LSI中，一个矩阵是由文档和词语组成的。当我们在该矩阵上应用SVD时，就会构建出多个奇异值。这些奇异值代表了文档中的概念或主题，这一特点可以用于更高效的文档搜索。在词语拼写错误时，只基于词语存在与否的简单搜索方法会遇到问题。简单搜索的另一个问题是同义词的使用。这就是说，当我们查找一个词时，其同义词所在的文档可能并不会匹配上。如果我们从上千篇相似的文档中抽取出概念，那么同义词就会映射为同一概念。 ...
奇异值分解SVD应用——LSI
热门推荐
Rachel Zhang的专栏
10-31 5万+
潜在语义索引（Latent Semantic Indexing）是一个严重依赖于SVD的算法，本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。————————————在自然语言处理中，最常见的两类的分类问题分别是，将文本按主题归类（比如将所有介绍亚运会的新闻归到体育类）和将词汇表中的字词按意思归类（比如将各种体育运动的名称个归成一类）。这两种分类问题都可用通过矩阵运算来圆满地
谈谈SVD和LSA(zz)
windows2的专栏
09-06 1253
首先SVD和LSA是什么呢，SVD全称是singular value decomposition，就是俗称的奇异值分解，SVD的用处有很多，比如可以做PCA(主成分分析)，做图形压缩，做LSA，那LSA是什么呢，LSA全称Latent semantic analysis，中文的意思是隐含语义分析，LSA算是topic model的一种，对于LSA的直观认识就是文章里有词语，而词语是由不同的主题生成
自然语言处理 - LSA
weixin_42272768的博客
07-22 1348
LSA （Latent Semantic Analysis）潜在语义分析，是利用线性代数奇异值分解的方法来达到降维的目的。 有关奇异值分解，可以去参考线性代数的书籍。 使用奇异值如何达到降维？正常的情况下，奇异值的分解并不能降低向量空间的复杂度。比如语料库是1000个单词，200篇文档的情况下，矩阵M的维度是1000x200，该矩阵有20万个元素。通过奇异值分解，可以得到三个矩阵，分别是1000x1000，200,200x200，一共有1,200,200个元素。可以发现经过奇异值分解后的维度增加了，而不是减
自然语言处理 - 潜在语义分析LSA背后的奇异值分解SVD
weixin_30294295的博客
07-04 230
特征值和特征向量 \(A \mathbf{x} = \lambda \mathbf{x}\)，这里，\(A \in \mathcal{R}^{n \times n}\)，\(\mathbf{x} \in \mathcal{R}^{n \times 1}\)，\(\lambda \in \mathcal{R}\) ，\(\lambda\) 是特征值，\(\mathbf{x}\) 是对应的特征向量。因...
SVD在LSA中的应用
qin910629的博客
07-13 728
本文的思路是先浅显解释一下SVD和LSA；其次讲一下矩阵分解，其中包括方阵的分解和对称方阵的分解；再次给出奇异值分解的理论；最后给出LSA理论及SVD在LSA中的降维作用。 首先说一下SVD和LSA语义：SVD中文称奇异值分解；LSA称为隐含语义分析；在LSA中用到SVD来实现降维过程。LSA简单来说就是一个词语在不同的主题中的阐释。 矩阵分解： （一）、方阵S的分解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值