再看LDA主题模型

之前学习文本挖掘时已经写过一篇关于主题模型的博客《文本建模之Unigram Model，PLSA与LDA》，前几天小组讨论主题模型时，又重新理解了一遍LDA，有了更深刻的认识，特记录一下。

1、Unigram Model

Unigram model是最简单的文本模型，其直接将文本的生成过程看作是从一个词汇表中重复取词的过程。因此只要知道每个词的产生概率，就能计算出一篇文档的产生概率。假设一篇文档由$N$个词$w_1,w_2,\dots ,w_n$组成，如下图所示：

这$N$个词必定来自于一个词汇表$v_1,v_2,\cdots ,v_V$，其中$V$是词汇表大小，$v_i$是词汇表中某一个词，上图中红、黄、蓝、绿代表文档中该词所对应的词汇表中词。文档中每个词的产生相互独立（不考虑词产生过程中的相互影响），因此在知道词汇表中每个词的产生概率$\vec{p}=(p_{v_1},p_{v_2},\dots ,p_{v_V})$，和词汇表中每个词的出现次数$\vec{n}=(n_{v_1},n_{v_2},\dots ,n_{v_V})$，同时$n_{v_1}+n_{v_2}+\cdots +n_{v_V}=N$，$\vec{n}$的发生概率满足多项分布：
$$p(\vec{n})=Multi(\vec{n}|\vec{p},N)=\left(\begin{array}{c}N\\ \vec{n}\end{array}\right)\prod _{i=1}^V{p}_{v_i}^{n_{v_i}}$$

一篇文档相当于词汇表中$V$各词$n$次取值实验中的一种，因此一篇文档的产生概率可以写成：
$$p(\vec{w})=\prod _{i=1}^V{p}_{v_i}^{n_{v_i}}$$

语料中$M$篇文档的生成过程相互独立，所以语料的产生概率为：
$$p(W)=\prod _{m=1}^M\prod _{i=1}^V{p}_{v_i}^{n_{m{v}_i}}=\prod _{i=1}{p}_{v_i}^{n_{v_i}}$$

此处，$n_{m{v}_i}$表示词汇表中词$v_i$在第$m$篇文档中的出现次数，$n_{v_i}$表示$v_i$在整个语料库中的出现次数。现在，只剩下最后一个问题，怎么通过观测到的语料去估计词汇表中每个词的产生概率$\vec{p}$，按照频率学派和贝叶斯学派的观点，存在两种计算方法。

频率学派

频率学派认为，词汇表中每个词的产生概率$\vec{p}$虽然未知，但是其取值是固定的，是取值空间中的一个定值。 可以采用最大似然估计，于是参数$\vec{p}$的估计值是
$${\hat{p}}_{v_i}=\frac{n_{v_i}}{N}$$

其图模型是

图中方框表示重复此过程，灰色圆圈的w表示可观测变量，N表示一篇文档中包含N个单词，M表示生成M篇文档。

贝叶斯学派

贝叶斯学派认为，词汇表中每个词的产生概率$\vec{p}$不仅未知，且其取值也未定，取值空间中的每种情况都有可能取到，也就是说，分布$\vec{p}$也是从一个概率分布中取出来的，我们称这个概率分布为$\vec{p}$的先验分布。 因为每一个分布$\vec{p}$都有可能产生我们的语料，我们不知道语料究竟是由哪一个$\vec{p}$产生。假设$\vec{p}$被选中的概率为$p(\vec{p})$，那么此时语料的产生概率为：
$$p(W)=\int p(W|\vec{p})p(\vec{p})d\vec{p}$$

上面的推导中，我们已经知道$p(\vec{n})$符合多项分布，$p(W)$是$\vec{n}$的一种情况，因此也可以近似认为$p(W)$符合多项分布，所以先验分布$p(\vec{p})$的一个较比好的选择是多项分布的共轭先验分布，即Dirichlet分布$Dir(\vec{p}|\vec{\alpha })$。此时，语料的产生概率为：
$$\begin{array}{rl}p(W|\vec{\alpha })& =\int p(W|\vec{p})p(\vec{p}|\vec{\alpha })d\vec{p}\\ & =\int \prod _{i=1}^V{p}_{v_i}^{n_{v_i}}Dir(\vec{p}|\vec{\alpha })d\vec{p}\\ & =\int \prod _{i=1}^V{p}_{v_i}^{n_{v_i}}\frac{1}{\Delta (\vec{\alpha })}\prod _{i=1}^V{p}_{v_i}^{{\alpha }_i-1}d\vec{p}\\ & =\frac{1}{\Delta (\vec{\alpha })}\int \prod _{i=1}^V{p}_{v_i}^{{\alpha }_i+n_{v_i}-1}d\vec{p}\\ & =\frac{\Delta (\vec{n}+\vec{\alpha })}{\Delta (\vec{\alpha })}\end{array}$$

因为Dirichlet先验+多项分布的数据$\to$后验分布为Dirichlet分布，所以分布$\vec{p}$的后验分布为$Dir(\vec{p}|\vec{n}+\vec{\alpha })$
$$p(\vec{p}|W,\vec{\alpha })=Dir(\vec{p}|\vec{n}+\vec{\alpha })=\frac{1}{\Delta (\vec{n}+\vec{\alpha })}\prod _{i=1}^V{p}_{v_i}^{n_{v_i}+{\alpha }_i-1}d\vec{p}$$

因此可以用$\vec{p}$的后验分布的均值作为$\vec{p}$的估计值：
$${\hat{p}}_{v_i}=\frac{n_{v_i}+{\alpha }_i}{{\sum }_{k=1}^V(n_{v_k}+{\alpha }_k)}$$

贝叶斯学派下，对应的图模型如下：

主题模型（topic model）

Unigram Model将一篇文档的生成过程简单地看作是从词袋中不断取词的过程显然于人类在写文章时遣词造句的过程存在较大差距。通常，我们在写文章时，首先会确定文章所包含的主题，然后根据主题选择相应的单词。基于以上思想，我们可以将词的产生过程拆分为两步：（1）产生位置$i$的主题$z_i$；（2）从主题对应的词分布下产生词$w_i$。譬如一篇关于自然语言处理的文章，可能包含40%的语言学，30%的概率统计，20%的计算机，10%的其他主题，我们能够观察到的是文章中的词，但这个词是在哪一个主题下产生的并不清楚，每一个主题对应的词分布都有可能产生这个词，只是概率大小不一样：

因此，第$m$篇文档$d_m$中词$v_i$的产生概率为
$$p(v_i|d_m)=\sum _{k=1}^{K}p(v_i|z_k)p(z_k|d_m)$$

其中$\vec{z}=(z_1,z_2,\dots ,z_k)$表示一篇文档中每个topic的概率，因此第$m$篇文档$d_m$的产生概率为
$$p(\vec{w}|d_m)=\prod _{i=1}^{V}p(v_i|d_m{)}^{n(v_i,d_m)}$$

其中$n(v_i,d_m)$表示文档$d_m$中词$v_i$的出现次数。整个语料的产生概率为
$$\begin{array}{rl}p(W)& =\prod _{m=1}^{M}p(d_m)p(\vec{w}|d_m)\\ & =\prod _{m=1}^{M}p(d_m)\prod _{i=1}^{V}p(v_i|d_m{)}^{n(v_i,d_m)}\\ & =\prod _{m=1}^{M}p(d_m)\prod _{i=1}^V\sum _{k=1}^K(p(v_i|z_k)p(z_k|d_m){)}^{n(v_i,d_m)}\end{array}$$

上式中，$p(d_m)$和$n(v_i,d_m)$是已知的，$p(v_i|z_k)$和$p(z_k|d_m)$是未知的，对于其取值同样存在频率学派和贝叶斯学派两种观点。

PLSA

PLSA（Probabilistic Latent Semantic Analysis）由Hofmann在1990年提出，PLSA属于频率学派的观点，即$p(v_i|z_k)$和$p(z_k|d_m)$的取值未知，但是取值空间的某一个定值， 可以采用最大似然估计求解：
$$\begin{array}{rl}\log p(W)& =\log (\prod _{m=1}^{M}p(d_m)\prod _{i=1}^V\sum _{k=1}^K(p(v_i|z_k)p(z_k|d_m){)}^{n(v_i,d_m)})\\ & =\sum _{m=1}^M\log (p(d_m)\prod _{i=1}^V\sum _{k=1}^K(p(v_i|z_k)p(z_k|d_m){)}^{n(v_i,d_m)})\\ & =\sum _{m=1}^M(\log p(d_m)+\log (\prod _{i=1}^V\sum _{k=1}^K(p(v_i|z_k)p(z_k|d_m){)}^{n(v_i,d_m)}))\\ & =\sum _{m=1}^M(\log p(d_m)+\sum _{i=1}^{V}n(v_i,d_m)\log \sum _{k=1}^{K}p(v_i|z_k)p(z_k|d_m))\end{array}$$

通过最大化这个对数似然函数就能求解出$p(v_i|z_k)$和$p(z_k|d_m)$，对于这种含有隐变量的参数估计，可以采用EM算法。PLSA对应的图模型如下：

图中，$d$代表一篇文档，文档确定后其主题分布也就确定了，$z$代表主题，$d$和$w$是可观测到变量。

LDA

PLSA认为每一篇文档的主题分布是唯一的，每个主题下的词分布也是唯一的，这显然不符合贝叶斯学派的观点，因此Blei在PLSA的基础上加入贝叶斯框架，将其改造成贝叶斯版本，提出了LDA（Latent Dirichlet Allocation）模型。即主题分布和主题下词分布都是从一个概率分布中以相应概率取出的。 因此LDA对应的图模型如下：

图中，红色的框表示语料级，黄色的框表示文档级，绿色的框表示单词级。$\theta$是文档的主题分布，$\phi$是主题下的词分布。我们说一篇文档的产生过程是：先产生位置$i$的主题，然后根据该主题产生位置$i$对应的词，重复这个过程$N$次就产生了一篇文档。我们也可以换一个做法：先产生文档每个位置的主题$z_1,z_2,\dots ,z_n$，然后产生每个位置对应的词$w_1,w_2,\dots ,w_n$。 重复文档产生过程$M$次，就产生了语料库中的$M$篇文档。

这种做法的好处是，一次性产生一篇文档每个位置的主题后，我们可以顺势统计每个主题的出现次数$\overrightarrow{z_m}=(n_{1,m},n_{2,m},\dots ,n_{k,m})$，$n_{k,m}$表示第$m$篇文档中主题$k$出现的次数，显然在给定第$m$篇文档的主题分布$\overrightarrow{{\theta }_m}$后，$\overrightarrow{z_m}$符合多项分布：
$$p(\overrightarrow{z_m}|\overrightarrow{{\theta }_m})=\prod _{k=1}^K{\theta }_{k,m}^{n_{k,m}}$$

${\theta }_{k,m}$表示第$m$篇文档中主题$k$出现概率，因为文档的主题分布是不固定的，根据主题出现次数符合多项分布，我们同样假设主题分布的分布（主题的先验分布）为Dirichlet分布，即

所以第$m$篇文档的主题为$\overrightarrow{z_m}$的概率是
$$\begin{array}{rl}p(\overrightarrow{z_m}|\vec{\alpha })& =\int p(\overrightarrow{z_m}|\overrightarrow{{\theta }_m})p(\overrightarrow{{\theta }_m}|\vec{\alpha })d\overrightarrow{{\theta }_m}\\ & =\int p(\overrightarrow{z_m}|\overrightarrow{{\theta }_m})Dir(\overrightarrow{{\theta }_m}|\vec{\alpha })d\overrightarrow{{\theta }_m}\\ & =\int \prod _{k=1}^K{\theta }_{k,m}^{n_{k,m}}\frac{1}{\Delta (\vec{\alpha })}\prod _{k=1}^K{\theta }_{k,m}^{{\alpha }_k-1}d\overrightarrow{{\theta }_m}\\ & =\frac{1}{\Delta (\vec{\alpha })}\int \prod _{k=1}^K{\theta }_{k,m}^{n_{k,m}+{\alpha }_k-1}d\overrightarrow{{\theta }_m}\\ & =\frac{\Delta (\overrightarrow{z_m}+\vec{\alpha })}{\Delta (\vec{\alpha })}\end{array}$$

因为Dirichlet先验+多项分布的数据$\to$后验分布为Dirichlet分布，所以主题的后验分布还是Dirichlet分布
$$p(\overrightarrow{{\theta }_m}|\overrightarrow{z_m},\vec{\alpha })=Dir(\overrightarrow{{\theta }_m}|\overrightarrow{z_m}+\vec{\alpha })$$

语料库中$M$篇文档的产生过程相互独立，因此有$M$个相互独立的Dirichlet-Multinomial分布，从而整个语料库的主题分布概率为
$$p(\vec{z}|\vec{\alpha })=\prod _{m=1}^{M}p(\overrightarrow{z_m}|\vec{\alpha })=\prod _{m=1}^M\frac{\Delta (\overrightarrow{z_m}+\vec{\alpha })}{\Delta (\vec{\alpha })}$$

每篇文档每个位置的主题生成好后，就可以在相应主题下按词分布生成对应位置的词，紧接着我们可以统计出语料中每个主题下词汇表中每个词的出现次数$\overrightarrow{w_k}=(n_{v_1,k},n_{v_2,k},\dots ,n_{v_V,k})$，如上图右边所示，$n_{v_i,k}$表示主题$k$下词汇表中词$v_i$的出现次数，显然在给定主题$k$对应的词分布$\overrightarrow{{\phi }_k}$的情况下，$\overrightarrow{w_k}$符合多项分布
$$p(\overrightarrow{w_k}|\overrightarrow{{\phi }_k})=\prod _{i=1}^V{\phi }_{v_i,k}^{n_{v_i,k}}$$

${\phi }_{v_i,k}$表示主题$k$下词汇表中词$v_i$的产生概率，因为主题对应的词分布是不固定的，根据主题下词汇表中词出现次数符合多项分布，我们同样假设主题下词分布的的分布（主题下词的先验分布）为Dirichlet分布，即

所以主题$k$下词为$\overrightarrow{w_k}$的概率是：
$$\begin{array}{rl}p(\overrightarrow{w_k}|z_k,\vec{\beta })& =\int p(\overrightarrow{w_k}|\overrightarrow{{\phi }_k})p(\overrightarrow{{\phi }_k}|\vec{\beta })d\overrightarrow{{\phi }_k}\\ & =\int p(\overrightarrow{w_k}|\overrightarrow{{\phi }_k})Dir(\overrightarrow{{\phi }_k}|z_k,\vec{\beta })d\overrightarrow{{\phi }_k}\\ & =\int \prod _{i=1}^V{\phi }_{v_i,k}^{n_{v_i,k}}\frac{1}{\Delta (\vec{\beta })}\prod _{i=1}^V{\phi }_{v_i,k}^{{\beta }_i-1}d\overrightarrow{{\phi }_k}\\ & =\frac{1}{\Delta (\vec{\beta })}\int \prod _{i=1}^V{\phi }_{v_i,k}^{n_{v_i,k}+{\beta }_i-1}d\overrightarrow{{\phi }_k}\\ & =\frac{\Delta (\overrightarrow{w_k}+\vec{\beta })}{\Delta (\vec{\beta })}\end{array}$$

因为Dirichlet先验+多项分布的数据$\to$后验分布为Dirichlet分布，主题下词的后验分布还是Dirichlet分布：
$$p(\overrightarrow{{\phi }_k}|\overrightarrow{w_k},\vec{\beta })=Dir(\overrightarrow{{\phi }_k}|\overrightarrow{w_k}+\vec{\beta })$$

语料中$K$个主题产生词的过程相互独立，因此有$K$个相互独立的Dirichlet-Multinomial共轭分布，所以在给定主题分布后，整个语料的词分布概率为
$$p(W|\vec{z},\vec{\beta })=\prod _{k=1}^K\frac{\Delta (\overrightarrow{w_k}+\vec{\beta })}{\Delta (\vec{\beta })}$$

所以，最终语料的主题分布为$\vec{z}$且词分布为$W$的概率为
$$\begin{array}{rl}p(W,\vec{z}|\vec{\alpha },\vec{\beta })& =p(W|\vec{z},\vec{\beta })p(\vec{z}|\vec{\alpha })\\ & =\prod _{k=1}^K\frac{\Delta (\overrightarrow{w_k}+\vec{\beta })}{\Delta (\vec{\beta })}\prod _{m=1}^M\frac{\Delta (\overrightarrow{z_m}+\vec{\alpha })}{\Delta (\vec{\alpha })}\end{array}$$

有了联合分布$p(W,\vec{z}|\vec{\alpha },\vec{\beta })$，我们可以利用Gibbs Sampling对参数进行估计。联合概率$p(W,\vec{z})$中$W$是可观测变量，$\vec{z}$是隐变量，即我们想要知道的是$p(\vec{z}|W)$，所以我们可以对概率$p(\vec{z}|W)$进行Gibbs采样，Gibbs采样中最重要的是计算出$p(z_i=k|{\vec{z}}_{\neg i},W)$的概率，其中$i=(m,n)$表示第$m$篇文档第$n$个词，$\neg i$表示除下标$i$外的所有其他词。
$$p(z_i=k|{\vec{z}}_{\neg i},W)\propto \frac{n_{k,m\neg i}+{\alpha }_k}{{\sum }_{k=1}^K(n_{k,m\neg i}+{\alpha }_k)}\cdot \frac{n_{v_t,k\neg i}+{\beta }_t}{{\sum }_{t=1}^V(n_{v_t,k\neg i}+{\beta }_t)}$$

$n_{k,m\neg i}$表示第$m$篇文档除去第$n$个词后主题$k$的数目，$n_{v_t,k\neg i}$表示除去第$m$篇文档第$n$个词后的语料中主题$k$下词$v_t$的数目。（具体推导过程请参考《LDA数学八卦》和博文《通俗理解LDA主题模型》）。

Gibbs采样过程如下：

1. 对语料中每一个词$w$随机初始化一个主题$z$;
2. 对语料中的每一个词，按照概率$p(z_i=k|{\vec{z}}_{\neg i},W)$重新采样它的主题，在语料中进行更新；
3. 重复第2步的采样过程，直至Gibbs采样收敛；
4. 统计语料中的topic-word共现频率矩阵，该矩阵就是LDA模型。

总结

花费两天时间重新理解了一遍LDA主题模型，欢迎多多交流。

参考文献

LDA数学八卦
通俗理解LDA主题模型