Factor Analysis

这应该是学ML以来推导过的最痛苦的算法了，所以我想先用直观的语言描述什么是Factor analysis。

因子分析(factor analysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖 关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几 个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。

由于存在隐变量，同时不能由MLE得到close form，因此很自然的想到了之前提到的EM算法。本文主要用EM算法推到因子分析的参数估计过程。

问题

之前我们考虑的训练数据中样例x (?) 的个数 m 都远远大于其特征个数 n，这样不管是 行回归、聚类等都没有太大的问题。然而当训练样例个数 m 太小，甚至 m<<n 的时候，使 用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于 参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合 时，也会有问题。

例如，多元高斯分布的参数估计如下：
$$\begin{array}{c}\mu =\frac{1}{m}{\sum }_{i=1}^m{x}^{(i)}\\ \Sigma =\frac{1}{m}{\sum }_{i=1}^m\left(x^{(i)}-\mu \right){\left(x^{(i)}-\mu \right)}^T\end{array}$$
分别是求 mean 和协方差的公式，x 是 n 维向量，$\Sigma$是 n*n 协方差矩阵。

当 m<<n 时，我们会发现$\Sigma$是奇异阵（ |$\Sigma$| = 0），也就是说${\Sigma }^{-1}$ 不存在，没办法拟合出多元高斯分布了，确切的说是我们估计不出来$\Sigma$。

因此，我们可以对$\Sigma$进行限制，从而使得其可逆。最简单的想法就是使得$\Sigma$变为对角矩阵，但这样有很大的坏处

：这样的假设意味着特征间相互独立，表示在图上就是contour的各个维度与坐标轴平行。

Preliminary

首先不加证明的给出几个结论

1. 设$x=\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]$，$x\sim \mathcal{N}(\mu ,\Sigma )$，其中$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right],\Sigma =\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right]$。

2. 求条件概率$x_1|x_2\sim \mathcal{N}\left({\mu }_{1|2},{\Sigma }_{1|2}\right)$

   • $$\begin{array}{rl}{\mu }_{1|2}& ={\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}\left(x_2-{\mu }_2\right)\\ {\Sigma }_{1|2}& ={\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}\end{array}$$

Factor analysis model

思想

因子分析的实质是认为 m 个 n 维特征的训练样例${\mathrm{X}}^{(i)}\left(x_1^{(i)},x_2^{(i)},\dots ,x_n^{(i)}\right)$的产生过程：

1. 首先在一个k维空间中按照多元高斯分布生成m个$z^i$的k维向量，即：

   • $z^{(i)}\sim N(0,I)$

2. 然后定义一个变换矩阵$\Lambda \in {\mathbb{R}}^{\mathrm{n}\times \mathrm{k}}$，将z映射到n维空间中，即：

   • $\Lambda z^{(i)}$

3. 然后将$\Lambda z^{(i)}$加上一个均值$\mu$，即：

   • $\mu +\Lambda z^{(i)}$

   • 对应的意义是将变换后的$\Lambda z^{(i)}$（n 维向量）移动到样本的中心点$\mu$。

4. 最后再加入一个噪声$ϵ\sim N(0,\Psi )$，从而得到：

   • ${\mathrm{x}}^{(i)}=\mu +\Lambda z^{(i)}+ϵ$

这个过程的直观解释是：在低维空间中的随机变量，通过一个仿射变换映射到样本的高维空间，然后再加入随机误差生成。因此，高维数据可以使用低维数据表示。

联合分布

我们可以通过之前的结论得到隐变量和目标变量的联合分布：
$$\left[\begin{array}{l}z\\ x\end{array}\right]\sim \mathcal{N}\left({\mu }_{zx},\Sigma \right)$$
不难求得：
$${\mu }_{zx}=\left[\begin{array}{c}\overrightarrow{0}\\ \mu \end{array}\right]$$

$$\Sigma =\left[\begin{array}{cc}I& {\Lambda }^T\\ \Lambda & \Lambda {\Lambda }^T+\Psi \end{array}\right]$$

因此MLE为：
$$\ell (\mu ,\Lambda ,\Psi )=\log \prod _{i=1}^m\frac{1}{(2\pi {)}^{n/2}{\left|\Lambda {\Lambda }^T+\Psi \right|}^{1/2}}\exp \left(-\frac{1}{2}{\left(x^{(i)}-\mu \right)}^T{\left(\Lambda {\Lambda }^T+\Psi \right)}^{-1}\left(x^{(i)}-\mu \right)\right)$$

很显然，直接求解这个式子是困难的，因此我们可以使用EM算法。

EM估计

求解过程相当繁琐，大家可以自行参考CS229的官方notes。这里只给出参数估计：
$$\Lambda =\left(\sum _{i=1}^m\left(x^{(i)}-\mu \right){\mathrm{E}}_{z^{(i)}\sim Q_i}\left[z^{(i{)}^T}\right]\right){\left(\sum _{i=1}^m{\mathrm{E}}_{z^{(i)}\sim Q_i}\left[z^{(i)}{z}^{(i{)}^T}\right]\right)}^{-1}$$
实际上，我们对这个仿射变换的矩阵的估计，很类似于最小二乘的结果：${\theta }^T=\left(y^{T}X\right){\left(X^{T}X\right)}^{-1}$

这是因为，我们希望通过这个矩阵得到z和x的线性关系，因此直观的可以认为其想法类似。

同时可求得其他的参数：
$$\mu =\frac{1}{m}\sum _{i=1}^m{x}^{(i)}$$

$$\Phi =\frac{1}{m}\sum _{i=1}^m{x}^{(i)}{x}^{(i)T}-x^{(i)}{\mu }_{z^{(i)}|x^{(i)}}^T{\Lambda }^T-\Lambda {\mu }_{z^{(i)}|x^{(i)}}{x}^{(i{)}^T}+\Lambda \left({\mu }_{z^{(i)}|x^{(i)}}{\mu }_{z^{(i)}|x^{(i)}}^T+{\Sigma }_{z^{(i)}|x^{(i)}}\right){\Lambda }^T$$

思考

因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有 非常明确的实际意义；

主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。

主成分分析:原始变量的线性组合表示新的综合变量，即主成分；

因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。

Reference

1. An Introduction to Probabilistic Graphical Models by Jordan Chapter 14
2. CS229