潜在语义分析（LSA）相关知识

潜在语义分析（latent semantic analysis, LSA）是一种无监督方法，主要用于文本的话题分析。其特点是通过对 单词-文本矩阵进行进行奇异值分解，从而得到 话题向量空间和 文本在话题向量空间中的表示。

单词-文本矩阵

给定 $n$ 个文本集合 D = { d 1 , d 2 , … d n } D = \{d_1,d_2,\ldots d_n\} D={d1​,d2​,…dn​}，以及在所有文本中出现的 $m$ 个单词的集合 W = { w 1 , w 2 , … , w m } W = \{w_1,w_2,\ldots,w_m\} W={w1​,w2​,…,wm​} 。单词-文本矩阵如下：
$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$$
每个列向量$x_{\cdot j}$对应文本 j 的不同单词，$x_{i,j}$表示第 j 个文本中第 i 个单词$w_i$的权值。权值可以是单词的在文本的出现次数，也可以是其他的数值，例如TD-IDF值：
$$\begin{gathered} TFID{F}_{ij}=\frac{t{f}_{ij}}{t{f}_{\cdot j}}\log \frac{\mathrm{d}f}{\mathrm{d}{f}_i} \\ i=1,2,\cdots ,m; \\ j=1,2,\cdots ,n \end{gathered}$$
$t{f}_{ij}$ 是单词$w_i$ 出现在文本$d_j$ 中的频数，$t{f}_{.j}$ 是文本$d_j$ 中出现所有单词的频数之和，所以$\frac{t{f}_{ij}}{t{f}_{\cdot j}}$可以表示单词$w_i$在当前文本的出现次数的占比。一个单词在一个文本中出现的频数越高，这个单词在这个文本中的重要度就越高，即$\frac{t{f}_{ij}}{t{f}_{\cdot j}}$ 越大 ；

$df$ 是文本集合D的全部文本集，$d{f}_i$ 是含有单词$w_i$ 的文本数。一个单词在整个文本集合中出现的文本数越少，这个单词就越能表示其所在文本的特点，重要度就越高，即$\log \frac{\mathrm{d}f}{\mathrm{d}{f}_i}$ 越大；

一个单词在一个文本的TF-IDF是两种重要度的积，表示综合重要度。

单词-文本矩阵的每个列向量对应一个文本，两个列向量之间的的余弦相似度表示对应文本之间的语义相似度。

缺点：单词向量通常是稀疏的。没有考虑到在自然语言处理中的一词多义以及多词一义，所以基于词向量的相似度计算不精确。

话题向量空间

两个文本的相似度可以体现在话题的相似度上。一个文本一般包含若干个话题，如果两个文本相似，那么这两个应该有相似的话题。

可以设想定义一种话题向量空间模型，进而可以用话题向量来表示文本。这个向量的每一个分量都对应一个话题，分量的数值大小为该话题在文本中的权值。实际上，潜在语义分析正是构建话题向量空间的方法。

给定 单词-文本矩阵 如下：
$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$$
X 也可以写作： $X=[x_1{x}_2\cdot \cdot \cdot x_n]$。

假设所有文本共含有$k$ 个话题，每个话题由定义在单词集合W的m维向量表示，称为话题向量，即：
$$t_l=\left[\begin{array}{cc}& t_{1l}\\ & t_{2l}\\ & ⋮\\ & t_{ml}\end{array}\right],l=1,2,...k$$
其中，$t_{il}$是单词$w_i$在话题$t_l$的权重，权重越大，则该单词在话题中的重要程度越高。k个话题向量$t_l$张成话题向量空间，维度为k。

话题向量空间 T 也可以表示为一个矩阵，称之为单词—话题矩阵 如下：
$$T=\left[\begin{array}{ccccc}& t_{11}& t_{12}& \cdots & t_{1k}\\ & t_{21}& t_{22}& \cdots & t_{2k}\\ & ⋮& ⋮& & ⋮\\ & t_{m1}& t_{12}& \cdots & t_{mk}\end{array}\right]$$
总共有k列，每个列向量$t_l$对应一个话题，每一行的元素$t_{il}$代表单词$w_i$在话题$t_l$中的权值。

文本在话题向量空间中的表示

现在考虑将文本$d_j$在单词向量空间的向量投影到话题向量空间，用话题向量空间中的向量$y_j$表示，$y_j$是个k维的列向量，表达式为：
$$y_j=\left[\begin{array}{cc}& y_{1j}\\ & y_{2j}\\ & ⋮\\ & y_{kj}\end{array}\right],j=1,2,...,n$$
元素$y_{lj}$表示文本$d_j$在话题$t_l$的权重，权重越大，说明该话题的重要程度越高。

由n个文本在话题向量空间向量$y_j$构成的矩阵，称之为话题—文本矩阵：
$$Y=\left[\begin{array}{ccccc}& y_{11}& y_{12}& \cdots & y_{1n}\\ & y_{21}& y_{22}& \cdots & y_{2n}\\ & ⋮& ⋮& & ⋮\\ & y_{k1}& y_{k2}& \cdots & y_{kn}\end{array}\right]$$
每个列向量对应一个文本，每一行对应话题$t_l$ ，元素$y_{lj}$代表文本$d_j$ 在话题$t_l$中出现的权值。也可以记作$Y=[y_1{y}_2\cdot \cdot \cdot y_n]$。

从单词向量空间到话题向量空间的线性变换

潜在语义分析的思想，就是单词向量空间变换到话题向量空间，通过矩阵的因子分解，将单词—文本矩阵X近似的用单词—话题矩阵$T$ 与话题—文本矩阵$Y$ 的乘积表示，即：
$$X\approx TY$$
如下图所示：

在原始的单词向量空间中，两个文本$d_i$与$d_j$的相似度可以由对应的向量的内积表示，即$d_i\cdot d_j$。经过潜在语义分析之后，在话题向量空间中，两个文本$d_1$与$d_2$的相似度可以由对应的向量的内积即$y_i\cdot y_j$表示。简单来说就是从文本单词的相似度的计算，转换为文本主题的相似度的计算。

潜在语义分析算法

矩阵奇异值(SVD)分解算法

给定文本集合 D = { d 1 , d 2 , ⋯   , d n } D=\{d_1, d_2,\cdots,d_n\} D={d1​,d2​,⋯,dn​}，单词集合 W = { w 1 , w 2 , ⋯   , w m } W=\{w_1,w_2,\cdots,w_m\} W={w1​,w2​,⋯,wm​}，则单词-文本矩阵$X_{m\times n}$：
$$X=\left[\begin{array}{ccccc}& x_{11}& x_{12}& \cdots & x_{1n}\\ & x_{21}& x_{22}& \cdots & x_{2n}\\ & ⋮& ⋮& & ⋮\\ & x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$$
潜在语义分析根据确定的话题个数k对单词-文本矩阵进行截断奇异值分解：
$$X\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}=\left[\begin{array}{cccc}{u}_1& u_2& \cdots & u_k\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& 0& 0& 0\\ 0& {\sigma }_2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& {\sigma }_k\end{array}\right]\left[\begin{array}{c}{v}_1^{\mathrm{T}}\\ v_2^{\mathrm{T}}\\ ⋮\\ v_k^{\mathrm{T}}\end{array}\right]$$
这中间$k\le n\le m$ 这里假设了文档数量要比单词数量少。

其中：

（1） $U_k$是 $m\times k$ 矩阵，由X的前$k$个相互正交的左奇异向量组成，$U_k$ 每一列$u_l$表示一个话题，$k$个话题张成一个子空间，称为话题向量空间：
$$U_k=\left[\begin{array}{cccc}{u}_1& u_2& \cdots & u_k\end{array}\right]$$
（2）${\Sigma }_k$是$k$阶方阵，由X的前$k$个最大奇异值组成；

（3）$V_k$是$n\times k$矩阵，由X的前$k$个相互正交的右奇异向量组成。

${\Sigma }_k{V}_k^{\mathrm{T}}$两个矩阵的乘积，则对应了话题-文本矩阵(文本在话题空间的向量表示)。所以，矩阵$X$ 的第$j$列向量$x_j$ 满足：
$$\begin{array}{rl}{x}_j& \approx U_k({\Sigma }_k{V}_k^{\mathrm{T}}{)}_j\\ & =\left[\begin{array}{cccc}{u}_1& u_2& \cdots & u_k\end{array}\right]\left[\begin{array}{c}{\sigma }_1{v}_{j1}\\ {\sigma }_2{v}_{j2}\\ ⋮\\ {\sigma }_k{v}_{jk}\end{array}\right]\\ & =\sum _{l=1}^k{\sigma }_l{v}_{jl}{u}_l,j=1,2,\cdots ,n\end{array}$$
式中：$({\Sigma }_k{V}_k^{\mathrm{T}}{)}_j$ 是矩阵$({\Sigma }_k{V}_k^{\mathrm{T}})$ 的第$j$ 列向量。矩阵$({\Sigma }_k{V}_k^{\mathrm{T}}{)}_j$的每一个列向量：
$$\left[\begin{array}{c}{\sigma }_1{v}_{11}\\ {\sigma }_2{v}_{12}\\ ⋮\\ {\sigma }_k{v}_{1k}\end{array}\right],\left[\begin{array}{c}{\sigma }_1{v}_{21}\\ {\sigma }_2{v}_{22}\\ ⋮\\ {\sigma }_k{v}_{2k}\end{array}\right],\dots ,\left[\begin{array}{c}{\sigma }_1{v}_{n1}\\ {\sigma }_2{v}_{n2}\\ ⋮\\ {\sigma }_k{v}_{nk}\end{array}\right]$$
是n个文本在话题向量空间的表示。

所以，通过矩阵的SVD分解进行潜在语义分析：
$$X\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}=U_k({\Sigma }_k{V}_k^{\mathrm{T}})$$
从而得到了话题空间$U_k$，以及文本在话题空间的表示$({\Sigma }_k{V}_k^{\mathrm{T}})$ 。

非负矩阵(NMF)分解算法

除了可以使用SVD分解，还可以使用非负矩阵分解算法。

基本思想

对单词—文本矩阵进行非负矩阵分解，将其左矩阵作为话题向量空间，将其右矩阵作为文本在话题向量空间的表示。

设单词—文本矩阵是 $m\times n$的非负矩阵$X$，文本集合包含$k$个话题，对$X$进行非负矩阵分解。即求$m\times k$的非负矩阵和$k\times n$的非负矩阵满足
$$X\approx WH$$
其中： $W=\left[\begin{array}{cccc}{w}_1& w_2& \cdots & w_k\end{array}\right]$表示话题向量空间，$w_1,w_2,\cdots ,w_k$表示文本集合的$k$个话题。
$H=\left[\begin{array}{cccc}{h}_1& h_2& \cdots & h_k\end{array}\right]$表示文本在话题向量空间的表示，$h_1,h_2,\cdots ,h_k$表示文本集合的$n$个文本。

损失函数

使用迭代的方法进行学习，则可以使用的损失函数有：

（1）平方损失

目标函数：
$$\begin{gathered} \underset{W,H}{\min }||X-WH|{|}^2 \\ s.t.W,H\ge 0 \end{gathered}$$

（2）散度损失函数

首先看看散度的定义：
$$D(A||B)=\sum _{i,j}\left(a_{ij}\log \frac{a_{ij}}{b_{ij}}-a_{ij}+b_{ij}\right)$$
称为非负矩阵A和B的散度损失函数。其下界时０，当且仅当A＝Ｂ时达到下届。

当${\sum }_{ij}{a}_{ij}={\sum }_{ij}{b}_{ij}=1$ 时，散度损失函数退化为KL散度或相对熵。

所以右散度损失函数为：
$$\begin{gathered} \underset{W,H}{\min }D\left(X||WH\right) \\ s.t.W,H\ge 0 \end{gathered}$$

迭代学习算法

（1）平方损失函数更新法则

$$J(W,H)=\frac{1}{2}\Vert X-WH{\Vert }^2=\frac{1}{2}\sum _{i,j}[X_{ij}-(WH{)}_{ij}{]}^2$$

采用梯度下降法求解，这里用到了矩阵求导
$$\begin{array}{rl}\frac{\partial J(W,H)}{\partial W_{il}}& =-\sum _j[X_{ij}-(WH{)}_{ij}]H_{lj}=-[(X{H}^{\mathrm{T}}{)}_{il}-(WH{H}^{\mathrm{T}}{)}_{il}]\\ \frac{\partial J(W,H)}{\partial H_{lj}}& =-[(W^{\mathrm{T}}X{)}_{lj}-(W^{\mathrm{T}}WH{)}_{lj}]\end{array}$$
根据更新规则有
$$\begin{gathered} W_{il}=W_{il}+{\lambda }_{il}[(X{H}^{\mathrm{T}}{)}_{il}-(WH{H}^{\mathrm{T}}{)}_{il}] \\ {H}_{lj}=H_{lj}+{\mu }_{lj}[(W^{\mathrm{T}}X{)}_{lj}-(W^{\mathrm{T}}WH{)}_{lj}] \\ {\lambda }_{il}=\frac{W_{il}}{(WH{H}^{\mathrm{T}}{)}_{il}} \\ {\mu }_{lj}=\frac{H_{lj}}{(W^{\mathrm{T}}WH{)}_{lj}} \end{gathered}$$
得到最终的乘法更新法则：
$$\begin{gathered} H_{lj}\leftarrow H_{lj}\frac{(W^{\mathrm{T}}X{)}_{lj}}{(W^{\mathrm{T}}WH{)}_{lj}} \\ {W}_{il}\leftarrow W_{il}\frac{(X{H}^{\mathrm{T}}{)}_{il}}{(WH{H}^{\mathrm{T}}{)}_{il}} \end{gathered}$$

（2）散度损失函数的更新法则

散度乘法更新法则如下：
$$\begin{gathered} H_{lj}\leftarrow H_{lj}\frac{\sum _i[W_{il}{X}_{ij}/(WH{)}_{ij}]}{\sum _i{W}_{il}} \\ {W}_{il}\leftarrow W_{il}\frac{\sum _j[H_{lj}{X}_{ij}/(WH{)}_{ij}]}{\sum _j{H}_{lj}} \end{gathered}$$

算法实现

具体算法如下：

输入：单词-文本矩阵$X\ge 0$，文本集合的话题个数$k$，最大迭代次数$t$；
输出：话题矩阵$W$，文本表示矩阵$H$

1. 初始化
   $W\ge 0$，并对$W$的每一列数据归一化
   $H\ge 0$
2. 迭代
   对迭代次数从$1$到$t$执行下列步骤：
   a. 更新$W$的元素，每次迭代对$W$的列向量归一化，使基向量为单位向量。
   b. 更新$H$的元素。

参考文章：
《统计学习方法 第二版》