为什么协方差矩阵、相关系数矩阵半正定？

Longer2048

已于 2022-07-18 20:31:02 修改

阅读量5.2k

点赞数 6

分类专栏：线代文章标签：线性代数

于 2022-07-17 18:10:52 首次发布

本文链接：https://blog.youkuaiyun.com/BeiErGeLaiDe/article/details/125833104

版权

线代专栏收录该内容

3 篇文章

订阅专栏

帮助到你了就点个赞吧！

Powered By Longer-站在巨人的肩膀上

预备知识：

有随机变量 $X_{1},X_{2}$ ，则均值 $\mu=(X1+X2)/2$ ，协方差 $cov(X_{1},X_{2})=(X_{1}-\mu_{1})(X_{2}-\mu_{2})$ ，令 $X=[X_{1},X_{2}]$ ，设 $X_{1},X_{2}$ 相关性为 $\rho$ ，则有

协方差矩阵:

$\begin{align*} D&=[[cov(X_{1},X_{1}),cov(X_{1},X_{2})],[cov(X_{2},X_{1}),cov(X_{2},X_{2})]] \\ &= E[(X-\mu)^T(X-\mu)] \end{align*}$

相关系数矩阵 $P=[[1,\rho],[\rho,1]]$ ，其中 $\rho=\frac{(X_{1}-\mu_{1})(X_{2}-\mu_{2})}{\sqrt{d_{1}}*\sqrt{d_{2}}}$ ，其中d是随机变量的方差。

注意：先看懂上面的预备知识，再看下面的半正定推理：

正定、半正定的定义方式有很多，这里给出一种常见的证明方式：

对于一个给定的非零向量a，判断矩阵A是否正定：判断 $a^TAa>0$ 是否成立。半正定：判断 $a^TAa\geqslant 0$ 是否成立，区别在于一个是>号，一个是>=号。

物理意义：使用矩阵A对向量a进行空间变换后的向量a’（ $a'=Aa$ ）与原始向量a的夹角的余弦值（ $cos(\theta)=\frac{a*a'}{\left | a \right |*\left | a' \right |}$ ），是否大于0（正定），或大于等于0（半正定）。

因此，证明协方差矩阵D半正定，只要证明 $x^TDx\geqslant 0$ 。

推理：

$\begin{align*} x^TDx&=x^TE[(X-\mu)^T(X-\mu)]x\\ &=E[x^T(X-\mu)^T(X-\mu)x]\\ &=E{[((X-\mu)x)^T((X-\mu)x)]}\\ &=E[\left \| (X-\mu)x \right \|^2]\\ &=\left \| (X-\mu)x \right \|^2\\ &\geqslant 0 \end{align*}$

与之类似的是相关系数矩阵P半正定推理，但需要加一点小技巧：

设 $X=[X_{1},X_{2},...,X_{n}]$ ，令 $X^'=[\frac{X_{1}-\mu_{1}}{\sqrt{d_{1}}},\frac{X_{2}-\mu_{2}}{\sqrt{d_{2}}},...,\frac{X_{n}-\mu_{n}}{\sqrt{d_{n}}}]$ ， $\mu=[\mu_{1},\mu_{2},...,\mu_{n}]$ ， $D=[d_{1},d_{2},...,d_{n}]$ ，则相关系数矩阵 $P=X_{b}^TX_{b}$ ，则有：

$\begin{align*} a^TPa&=a^TE[(\frac{X-\mu}{D})^T(\frac{X-\mu}{D})]a\\ &=E[a^T(\frac{X-\mu}{D})^T(\frac{X-\mu}{D})a]\\ &=E[((\frac{X-\mu}{D})a)^T((\frac{X-\mu}{D})a)]\\ &=E(\left\|(\frac{X-\mu}{D})a\right\|^2)\\ &=\left\|(\frac{X-\mu}{D})a\right\|^2\\ &\geqslant 0 \end{align*}$