因子分析(Factor Analyse)推导以及R语言实现

因子模型

对于降维算法里，大家熟知的是SVD和PCA，甚至是t-sne。但在统计解释上来说，降维算法找到了相应的低维子空间，但解释力不足，比如PCA，对于降维后数据的解释力降低。因此对于小规模数据集，在变量众多的情况下，因子模型是较好的处理多变量的方法。通过PCA降维估计，再进行因子旋转，使得因子模型在降维的同时具备了较好的解释力。

准备工作

因子模型假设中心化的X线性依赖于一些未观测到的随机变量$F_1,...,F_m$和误差，称$F_1,...,F_m$为公共因子，因子模型可表示为以下一式：

$X-\mu = LF + \varepsilon$
其中 $L = (l_{ij})_{p\times m}$为因子载荷矩阵， $l_{ij}$为第i个变量在第j个因子上的载荷（描述了第i个变量和第j个因子的相关性）， $F_{m\times 1}$称为公共因子， $\varepsilon_{p\times 1}$称为特殊因子。
因子模型假设：
1. $E(F)=0,Cov(F)=I_m$
2. $E(\epsilon)=0,Cov(\epsilon)=\varphi_{p\times p} = diag(\varphi_1...\varphi_p)$
3. $Cov(\varepsilon,F)=0$
4. $Cov(X) = \Sigma_{p\times m} = LL' + \varphi , Cov(X,F) = L_{p\times m}$

其中第四条假设为因子模型的核心，则对于i=1,…,p,令$l_{(i)}$为L的第i行，则有：

{