因子旋转的理论基础

写本博客的目的是：在使用varimax方法时不知道原理到底是什么？查了好多教材和网上的资料，都没有具体的理论推导，无法真正理解此方法的内核计算。最后终于在factor analysis as a statistical method书中的chapter6找到相关内容，并进行整理，最后给出相关matlab代码。

1. varimax 方法

1.1 varimax的理论基础

在varimax旋转方法出现之前，通常使用旋转的图形方法，目的是消除负的因子载荷(loading)并且尽可能少的非0因子载荷来描述数据。但这种方法具有一定的主观性。

varimax方法与图形方法在某种程度上具有相似的特点。 与原始的因子载荷相比，用这种方法对因子进行旋转得到的新的因子载荷要么相对大要么相对小。正如我们所看到的，这种旋转的方法是通过最大化loading的平方的一个特定函数并且迭代完成的。在Kaiser’s的原始旋转方法中，因子是成对地旋转（两个两个的旋转）直到loadings收敛到最终值。下面我们描述的是"The simultaneously factor varimax solution"（同时因子varimax解），显然，这个方法的最主要特点是在每一次迭代时，所有因子同时被旋转，并非Kaiser’s的成对成对地旋转。它比原始的varimax方法更快，并且没有累积的舍入误差(因为原始方法是成对旋转的)。

将 矩阵${\mathbf{\Lambda }}_0(p\times k)$ 看做是未旋转的因子载荷，则${\mathbf{\Lambda }}_0^{\prime }$的第$i$列（即${\mathbf{\Lambda }}_0$ 的第$i$行）是一个$k$维的列向量，用${\mathbf{I}}_i$表示。 定义$\mathbf{M}$是一个$k\times k$的正交旋转矩阵，它的第$r$th列用${\mathbf{m}}_r(r=1,\cdots ,k)$。新的旋转的因子载荷矩阵$\mathbf{\Lambda }=\left[{\lambda }_{ir}\right]$，可以通过如下计算：
$$\mathbf{\Lambda }={\mathbf{\Lambda }}_0\mathbf{M}$$
因此，
$${\lambda }_{ir}={\mathbf{l}}_i^{\prime }{\mathbf{m}}_r.$$

定义一个标量$d_r(r=1,\cdots ,k)$：

$$d_r=\sum _{i=1}^p{\lambda }_{ir}^2=\sum _i{\left({\mathbf{I}}_i^{\prime }{\mathbf{m}}_r\right)}^2$$

$d_r$表示的是$\mathbf{\Lambda }$的第$r$th列的因子载荷的平方和。

在同时varimax方法中的标准$x$被最大化，形式如下：

$$\begin{array}{rl}x& =\sum _{r=1}^k\left[\sum _{i=1}^p{\left({\lambda }_{ir}^2-d_r/p\right)}^2\right]\\ & =\sum _r\left[\sum _i{\lambda }_{ir}^4-d_r^2/p\right]\\ & =\sum _r\left[\sum _i{\left({\mathbf{I}}_i^{\prime }{\mathbf{m}}_r\right)}^4-d_r^2/p\right]\end{array}$$
从这个定义中，我们可以看出：$x$代表的是${\lambda }_{ir}^2$与其对应的列均值的偏差平方和。这个$x$的最大化与$\mathbf{M}$有关。因为$\mathbf{M}$是正交阵，所以它的列满足如下条件：

m r ′ m r = 1 , m r ′ m s = 0 ( r ≠ s ) \begin{aligned} \mathbf{m}_{r}^{\prime} \mathbf{m}_{r} &=1, & \\ \mathbf{m}_{r}^{\prime} \mathbf{m}_{s} &=0 &(r \neq s) \end{aligned} mr′​m