52、视觉词模型：从潜在狄利克雷分配到星座模型

视觉词模型：从潜在狄利克雷分配到星座模型

1. 潜在狄利克雷分配（Latent Dirichlet Allocation）学习

在学习过程中，目标是基于一组训练数据 ${f_{ij}} {i = 1,j = 1}^{I,J_i}$ 来估计 $I$ 个训练图像中每个图像的部分概率 ${\pi_i} {i = 1}^{I}$ 以及 $M$ 个部分中每个部分的词概率 ${\lambda_m} {m = 1}^{M}$，其中 $J_i$ 表示第 $i$ 个图像中找到的词的数量。
如果我们知道隐藏的部分标签 ${p {ij}} {i = 1,j = 1}^{I,J_i}$ 的值，那么学习未知参数就会很容易。采用特定方法，精确表达式如下：
$\hat{\pi} {im} = \frac{\sum_{j} \delta[p_{ij} - m] + \alpha}{\sum_{j,m} \delta[p_{ij} - m] + M\alpha}$
$\hat{\lambda} {mk} = \frac{\sum {i,j} \delta[p_{ij} - m]\delta[f_{ij} - k] + \beta}{\sum_{i,j,k} \delta[p_{ij} - m]\delta[f_{ij} - k] + K\beta}$
然而，我们并不知道这些部分标签，所以不能使用这种直接的技术。一种可能的方法是采用 EM 算法，交替计算部分标签的后验分布并更新参数。但这也存在问题，因为第 $i$ 个图像中的所有部分标签 ${p_{ij}}_{j = 1}^{J_i}$ 在图形模型中共享一个父节点 $\pi_i$