31、纠缠模型：从线性到深度生成的探索

纠缠模型：从线性到深度生成的探索

1. 概率主成分分析（Probabilistic PCA）

概率主成分分析是一种生成模型，它随机扩展了传统的主成分分析（PCA）方法。对于任意的 $n \times n$ 旋转矩阵 $R$，有 $RR^⊺ = I$，这使得在 $WW^⊺$ 中 $R$ 被抵消，从而任何 $R$ 都会导致式（13.6）中的似然值相同。

最大似然估计的 $\sigma^2_{MLE}$ 计算公式为：
$\sigma^2_{MLE} = \frac{1}{d - n} \sum_{j=n+1}^{d} \lambda_j$

该公式表明，在这种设置下，$W_{MLE}$ 的估计不是唯一的，因为我们可以选择任何旋转矩阵 $R$。当 $R = I$ 时，$W_{MLE}$ 的列向量对应于标准 PCA 过程中的前 $n$ 个主成分，并通过方差参数 $\lambda_j - \sigma^2_{MLE}$ 进行缩放。

在概率 PCA 模型中，为了解缠的目的，式（13.3）中的条件分布可以明确表示为以下高斯分布：
$p(z | x) = N(z | M^{-1}W^⊺(x - \mu), \sigma^{-2}M)$

其中 $M$ 是一个 $n \times n$ 矩阵，计算方式为 $M = W^⊺W + \sigma^2I$。需要注意的是，这个条件分布的均值向量依赖于 $x$，但协方差矩阵完全独立于 $x$。

2. 因子分析（Factor Analysis）

因子分析是统计学中一种传统的数据分析方法，通常用于用较少数量的未观察到的潜在变量（称为因子）来描述观察变量之间的变异性。