因子模型简介

1 总体的$k$-因子模型

1.1 模型设定

$x\sim (\mu ,\Sigma )$，$\text{rank}(\Sigma )=r$，固定$k<r$，则$k$因子模型的设定为
$$x=Af+\mu +ϵ$$
其中$f$为$k$维随机向量，称为共同因子（common factor），$A$为$d\times k$的线性变换，称为因子载荷（factor loading）。

一般会做出这些假设：$f\sim (0,I_k)$，$ϵ\sim (0,\Psi )$（其中$\Psi$为对角矩阵），$\text{Cov}(f,ϵ)=0_{k\times d}$。

有的文献中会假设$\text{Var}(f)=\Phi$，$\Phi$为对角矩阵，在这里我们假设它是球形的。在我们的假设下，我们有
$$\Sigma =A{A}^{\prime }+\Psi$$

我们可以看$\Sigma$和$A{A}^{\prime }$的各元素的接近程度，定义$A{A}^{\prime }$的对角线元素${\tau }_{jj}={\sum }_{l=1}^k{a}_{jl}{a}_{jl}$为第$j$个communality（共同性），它满足${\sigma }_j^2={\sigma }_{jj}={\tau }_{jj}+{\psi }_j$，而对于$\Sigma$的非对角线元素有${\sigma }_{jm}={\tau }_{jm}$。

如果用一个正交$k\times k$矩阵$E$，做$\tilde{A}=AE$，$\tilde{f}=E^{\prime }f$，那么我们依然有
$$x=\tilde{A}\tilde{f}+\mu +ϵ$$
它也是$x$的一个$k$-因子模型，也同样满足上文的那些假设，这说明因子模型不是唯一的。并且，如果没有额外的信息，我们想只利用$\Sigma$就求解出因子和载荷是不可能的，下面的例子就说明了这个问题。

1.2 案例

假设有$2$维随机向量$x$，$\Sigma =\left[\begin{array}{cc}1.25& 0.5\\ 0.5& 0.5\end{array}\right]$，假设单因子模型为
$$x=\left[\begin{array}{c}{a}_1\\ a_2\end{array}\right]f+\left[\begin{array}{c}{ϵ}_1\\ {ϵ}_2\end{array}\right]$$
这里$f$为标量。

根据上文的推导，我们可以得出一些结论。如$A{A}^{\prime }$的非对角线元素就是$\Sigma$的非对角线元素，即$a_1{a}_2=0.5$，而$A{A}^{\prime }$的对角线元素必定小于$\Sigma$的对角线元素，即$a_1^2<{\sigma }_{11}=1.25$，$a_2^2<{\sigma }_{22}=0.5$。

但是，我们无法得出具体的$A$，比如我们可以取$\left[\begin{array}{c}{a}_1\\ a_2\end{array}\right]=\left[\begin{array}{c}1\\ 0.5\end{array}\right]$，也可以取$\left[\begin{array}{c}{a}_1^{\ast }\\ a_2^{\ast }\end{array}\right]=\left[\begin{array}{c}3/4\\ 2/3\end{array}\right]$，这些$A$都是可行的。也就是说，在没有额外信息或使用某些准则时，我们无法只利用$\Sigma$解出$A$。

2 一些选择$A$的准则

在$1.2$中，我们给出了一个案例，说明想要选择$A$的解，必须要借助一些准则。这里介绍两种准则。

2.1 最小化$\Psi$准则

我们可以选择使$\Psi$更小的$A$。由于$\Psi$是对角矩阵，可以直接用它的迹来表示大小。

$\text{tr}(\Psi )=0.25+0.25=0.5$，$\text{tr}({\Psi }^{\ast })=\frac{11}{16}-\frac{1}{18}=0.7431$，因此，可以选择$\left[\begin{array}{c}{a}_1\\ a_2\end{array}\right]=\left[\begin{array}{c}1\\ 0.5\end{array}\right]$。

2.2 Varimax准则

Kaiser（1958）提出了另一个准则varimax criterion：记$a_{jl}$为$d\times k$矩阵$A$的第$j$行、$l$列元素，他们定义
$$VC(A)=\sum _{l=1}^k\left[\frac{1}{d}\sum _{j=1}^d{a}_{jl}^4-{\left(\frac{1}{d}\sum _{j=1}^d{a}_{jl}^2\right)}^2\right]$$

式子看起来很复杂，但我们可以理解成，先将$A$的所有元素做平方，然后计算某一列上的元素的方差，最后再对所有列加总。

对$1.2$的案例进行计算，可以得到$VC(A)=0.1406$，$VC(A^{\ast })=0.0035$，如果我们需要VC越大越好的载荷矩阵，就选择$\left[\begin{array}{c}{a}_1\\ a_2\end{array}\right]=\left[\begin{array}{c}1\\ 0.5\end{array}\right]$。尽管在这里两种方法选出的矩阵是一样的，但它们不等价。

Varimax criterion的另一个用途是，寻找旋转后的载荷$AE$，即它要寻找一个正交矩阵$E$，使得
$$\tilde{E}=\arg \max VC(AE)$$

3 样本的$k$-因子模型

将$n$个样本排成$d\times n$的矩阵$X=(x_1,\dots ,x_n)$，并将对应的每个$f$排成$k\times n$矩阵$F=(f_1,\dots ,f_n)$，将对应的每个$ϵ$排成$d\times n$矩阵$\mathfrak{N}=({ϵ}_1,\dots ,{ϵ}_n)$，我们可以得到
$$X=AF+\bar{x}{\ell }_n^{\prime }+\mathfrak{N}$$

还是和总体情况下一样，这些变量满足$F\sim (0,I_k)$，$\mathfrak{N}\sim (0,\Psi )$，这里$\Psi$为对角矩阵，$\text{Cov}(F,\mathfrak{N})=0_{k\times d}$。样本的协方差矩阵可写为
$$S=\text{Var}(X)=\text{Var}(AF)+\text{Var}(\mathfrak{N})=A{A}^{\prime }+\Psi$$

参考文献

• Kaiser, H. F. (1958). The varimax criterion for analytic rotation in factor analysis. Psychometrika 23, 187–200.