概率潜在语义分析(pLSA) 相关知识

概率潜在语义分析（PLSA）是一种利用概率生成模型对文本集合进行话题分析的无监督方法。 PLSA 模型假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。该模型中的话题是不可直接观测到的，是潜在的隐变量。整个模型表示文本生成话题，话题生成单词，从而得到单词—文本共现数据的过程。

生成模型

假设有M个单词集合 W = { w 1 , w 2 . … , w M } W=\{w_1,w_2.\ldots,w_M\} W={w1​,w2​.…,wM​}，N个文本集合 D = { d 1 , d 2 , … , d N } D=\{d_1,d_2,\ldots,d_N\} D={d1​,d2​,…,dN​}，K个话题集合 Z = { z 1 , z 2 , … , z K } Z=\{z_1,z_2,\ldots,z_K\} Z={z1​,z2​,…,zK​}。假设用概率分布$P(d)$表示生成文本$d$ 的概率，$P(z|d)$ 表示文本$d$生成话题$z$ 的概率，$P(w|z)$ 表示话题$z$ 生成单词$w$的概率。

生成模型步骤如下：

（1）依据概率分布$P(d)$ ，从文本集合中随机选取一个文本$d$，共生成$N$个文本。对生成的N个文本都执行下面的操作：

（2）在给定文本 $d$ 的条件下，依据条件概率分布$P(z|d)$ ，从话题集合中随机选取一个话题$z$，共生成$L$个话题。对生成的$L$个话题都执行下面的操作：

（3）在给定话题$z$的条件下，依据条件概率分布$P(w|z)$ ，从单词集合中随机选取一个单词$w$。

从数据生成的过程可以推出，单词—文本共现数据$T$的生成概率为所有的单词—文本对$(w,d)$ 的生成概率的乘积：
$$P(T)=\prod _{w,d}P(w,d{)}^{n(w,d)}$$
其中，$n(w,d)$ 表示$(w,d)$ 出现的次数，而$(w,d)$ 的生成概率如下：
$$\begin{array}{rl}P(w,d)& =P(d)P(w|d)\\ & =P(d)\sum _{z}P(w,z|d)\\ & =P(d)\sum _{z}P(z|d)P(w|z)\end{array}$$
这就是生成模型的定义。生成模型属于概览有向图模型，可以用下图表示：

共现模型

除了生成模型，还可以定义与之等价的共现模型，共现模型假设在给定话题$z$的前提下，单词$w$和文本$d$ 是条件独立的，即：
$$P(w,d|z)=P(w|z)P(d|z)$$
于是单词—文本对$(w,d)$ 的生成概率为：
$$P(w,d)=\sum _{z\in Z}P(z)P(w|z)P(d|z)$$
下图是共现模型示意图，其中$z$是隐变量：

生成模型与共现模型具有不同性质，生成模型描述了文本—单词共现数据的生成过程，共现模型描述文本—单词共现数据所拥有的模式。

模型性质

如果直接定义单词与文本的共现概率$P(w,d)$ ，模型的参数个数是$O(M\cdot N)$，其中M表示单词数，N表示文本数。而PLSA的生成模型或者共现模型的参数个数都是$O(M\cdot K+N\cdot K)$，其中K是话题数，远小于M，可以极大的减少参数个数。如下图所示：

共现模型表示

前面提到共现模型为：
$$P(w,d)=\sum _{z\in Z}P(z)P(w|z)P(d|z)$$
也可以表示为三个矩阵的乘积的形式：
$$\begin{array}{rl}& X^{\prime }=U^{\prime }{\Sigma }^{\prime }{V}^{\prime T}\\ & X^{\prime }=[P(w,d){]}_{M\times N}\\ & U^{\prime }=[P(w|z){]}_{M\times K}\\ & {\Sigma }^{\prime }=[P(z){]}_{K\times K}\\ & V^{\prime }=[P(d|z){]}_{N\times K}\end{array}$$
其中，矩阵$U^{\prime }，V^{\prime }$是非负的、规范的，表示条件概率分布。

PLSA算法

PLSA是含有隐变量的模型，通常使用EM算法完成参数的优化。

假设单词集合 W = { w 1 , w 2 . … , w M } W=\{w_1,w_2.\ldots,w_M\} W={w1​,w2​.…,wM​}，文本集合 D = { d 1 , d 2 , … , d N } D=\{d_1,d_2,\ldots,d_N\} D={d1​,d2​,…,dN​}，话题集合 Z = { z 1 , z 2 , … , z K } Z=\{z_1,z_2,\ldots,z_K\} Z={z1​,z2​,…,zK​}。给定单词—文本共现数据 T = { n ( w i , d j ) } , i = 1 , 2 , … , M ; j = 1 , 2 , … , N T=\{n(w_i,d_j)\},i=1,2,\ldots,M; j=1,2,\ldots,N T={n(wi​,dj​)},i=1,2,…,M;j=1,2,…,N，目标是估计PLSA（生成模型）的参数，使用极大似然估计，对数似然函数是：
$$\begin{array}{rl}L(\theta )& =\log \prod _{i=1}^M\prod _{j=1}^{N}P(d_j,w_i{)}^{n(d_j,w_i)}\\ & =\sum _i^M\sum _j^{N}n(d_j,w_i)\log P(d_j,w_i)\\ & =\sum _i^M\sum _j^{N}n(d_j,w_i)\log [\sum _{k=1}^{K}P(w_i|z_k)P(z_k|d_j)]\end{array}$$
模型含有隐变量，对数似然函数的优化方法无法用解析方法求解，使用EM算法进行求解。假设有M个单词集合 W = { w 1 , w 2 . … , w M } W=\{w_1,w_2.\ldots,w_M\} W={w1​,w2​.…,wM​}，N个文本集合 D = { d 1 , d 2 , … , d N } D=\{d_1,d_2,\ldots,d_N\} D={d1​,d2​,…,dN​}，K个话题集合 Z = { z 1 , z 2 , … , z K } Z=\{z_1,z_2,\ldots,z_K\} Z={z1​,z2​,…,zK​}，则具体算法如下：

输入：单词—文本共现数据 T = { n ( w i , d j ) } , i = 1 , 2 , … , M ; j = 1 , 2 , … , N T=\{n(w_i,d_j)\},i=1,2,\ldots,M; j=1,2,\ldots,N T={n(wi​,dj​)},i=1,2,…,M;j=1,2,…,N

输出：$P(w_i|z_k),P(z_k|d_j)$

（1）设置参数$P(w_i|z_k),P(z_k|d_j)$的初始值。

（2）迭代执行E步，M步，直到收敛为止：

​ E步：
$$P(z_k|w_i,d_j)=\frac{P(w_i|z_k)P(z_k|d_j)}{{\sum }_{k=1}^{K}P(w_i|z_k)P(z_k|d_j)}$$
​ M步：
$$P(w_i|z_k)=\frac{{\sum }_{j=1}^{N}n(w_i,d_j)P(z_k|w_i,d_j)}{{\sum }_{i=1}^M{\sum }_{j=1}^{N}n(w_i,d_j)P(z_k|w_i,d_j)}$$

$$P(z_k|d_j)=\frac{{\sum }_{i=1}^{M}n(w_i,d_j)P(z_k|w_i,d_j)}{n(d_j)}$$
参考文章：

《统计学习方法 第二版》