机器学习-因子分析(FA)

1. 因子分析(Factor Analysis)

• 1.1 概念
  $因子分析是一种通过可观测变量分析背后隐藏因子(也称为公共因子)的方法$，此方法认为观测到的变量是由公共因子加上特殊因子共同作用产生的。因子分析在社会学/金融领域应用很广。
  具体表达式如下
  $$\begin{gathered} x=\mu +\Lambda z+ϵ \\ x,\mu ,ϵ\in R^{n\ast 1},\Lambda \in R^{n\ast k},z\in R^{k\ast 1} \end{gathered}$$

  上式中$x$表示观测到的变量，$z$表示隐藏因子(未知变量),满足多元高斯分布$N(0,I)$, $ϵ$表示误差因子(噪声因子),也满足多元高斯分布$N(0,\Psi )$
  由于多元高斯分布的线性变换仍属于高斯分布，根据上式得到
  $$\begin{gathered} {\mu }_x=\mu +\Lambda {\mu }_z+{\mu }_{ϵ}=\mu \\ {\Sigma }_x=E[(X-E[X])(X-E[X]{)}^T]=\Lambda {\Sigma }_z{\Lambda }^T+{\Sigma }_{ϵ}=\Lambda {\Lambda }^T+\Psi \end{gathered}$$

• 1.2 如何构建概率模型
  机器学习中很重要的一步就是构建概率模型，模型建立的不一样时，所采用的求解方法也不一样。$在因子分析中，由于没有观测到隐藏因子z的值，因此只能构建p(x)模型$，而不能像高斯判别分析一样，构建完整的联合概率p(x,y).
  由于$x$满足多元高斯分布，因此
  $$p(x)=\frac{1}{(2\pi {)}^{n/2}|\Lambda {\Lambda }^T+\Psi {|}^{1/2}}\exp (-\frac{1}{2}(x-\mu {)}^T(\Lambda {\Lambda }^T+\Psi {)}^{-1}(x-\mu ))$$

  样本集的的对数似然函数为
  $$\begin{gathered} l(\mu ,\Lambda ,\Psi )=\sum _{i=1}^m\log p(x^{(i)}) \\ =\sum _{i=1}^m\log [\frac{1}{(2\pi {)}^{n/2}|\Lambda {\Lambda }^T+\Psi {|}^{1/2}}\exp (-\frac{1}{2}(x-\mu {)}^T(\Lambda {\Lambda }^T+\Psi {)}^{-1}(x-\mu ))] \end{gathered}$$

  上式子如果直接偏导求解会比较麻烦($\Sigma$不好化简), 在这里使用EM算法就能实现更简单的化简。

• 1.3 如何使用EM算法化简因子分析模型
  在求解概率模型时，一般使用极大化对数似然函数或者使用贝叶斯法则进行化简，若在求偏导过程中发现不能得到比较好的表达式，此时可以尝试使用EM算法。$一般EM算法适合求解概率模型是p(x)的情形，需要明确哪个是隐藏因子。$
  $(1)构建观测变量x与隐藏变量z之间的联合概率分布$
  由于EM算法涉及计算条件概率，因此对于多元高斯分布而言，一般将隐藏因子$z$与观测因子$x$放到一个变量中进行分析
  $$y=\left[\begin{array}{c}z\\ x\end{array}\right],y\in R^{(k+n)\ast 1}$$

  上述这种写法方便分析两个高斯分布变量的关系，可知新变量$y$也是一个多元高斯分布，满足
  $$\begin{gathered} {\mu }_y=\left[\begin{array}{c}{\mu }_z\\ {\mu }_x\end{array}\right]=\left[\begin{array}{c}0\\ \mu \end{array}\right] \\ {\Sigma }_y=\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right] \\ {\Sigma }_{11}=E[(Z-E[Z])(Z-E[Z]{)}^T]=I,\in R^{k\ast k} \\ {\Sigma }_{12}=E[(Z \end{gathered}$$