【应用多元统计分析】CH3 多元正态分布

韩博士要加油鸭

已于 2022-10-18 21:17:34 修改

阅读量6.1k

点赞数 10

分类专栏：应用多元统计分析文章标签：开发语言

于 2022-10-05 20:24:42 首次发布

本文链接：https://blog.youkuaiyun.com/m0_72318954/article/details/127115631

版权

一、多元正态分布的定义

1.定义

一元正态分布 $\small N(\mu ,\sigma ^2)$ 的概率密度函数为:

$\small f(x)=\frac{1}{\sqrt{2*\pi }\sigma }e^{-\frac{(x-\mu )^2}{2*\sigma ^2}}=(2*\pi )^{-\frac{1}{2}}(\sigma ^2)^{-\frac{1}{2}}exp[-\frac{1}{2}(x-\mu )(\sigma ^2)^{-1}(x-\mu )],-\infty<x<+\infty$

若随机向量 $\small x=(x_{1},x_{2},\cdots ,x_{p})^{'}$ 的概率密度函数为:

$\small f(x)=(2*\pi)^{-\frac{p}{2}}{\left | \Sigma \right |}^{-\frac{1}{2}}exp[-\frac{1}{2}(x-\mu )^{'}\Sigma ^{-1}(x-\mu )]$

则称 $\small x$ 服从 $\small p$ 元正态分布，记作 $\small x\sim N_{p}(\mu ,\Sigma )$ ，其中，参数 $\small \mu ,\Sigma$ 分别为 $\small x$ 的均值和协差阵。

2.二元正态分布

设 $\small x\sim N_{2}(\mu,\Sigma )$ ，这里 $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix},\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix},\Sigma =\begin{pmatrix} \sigma _{1}^{2} & \sigma _{1}\sigma _{2}\rho \\ \sigma _{1}\sigma _{2}\rho &\sigma _{2}^{2} \end{pmatrix}$ 。易见， $\small \rho$ 是 $\small x_{1},x_{2}$ 的相关系数。当 $\small \left | \rho \right |<1$ 时，可得 $\small x$ 的概率密度函数为: $\small f(x_{1},x_{2})=\frac{1}{2\pi\sigma _{1}\sigma _{2}\sqrt{1-\rho ^2}}exp\left \{ -\frac{1}{2(1-\rho ^2)}[(\frac{x_{1}-\mu_{1}}{\sigma _{1}})^2-2\rho (\frac{x_{1}-\mu_{1}}{\sigma _{1}})(\frac{x_{2}-\mu_{2}}{\sigma _{2}})+(\frac{x_{2}-\mu_{2}}{\sigma _{2}})^2] \right \}$

【注】二元正态分布等高线（见课本）

二、多元正态分布的性质

**【property1*】**

多元正态分布的特征函数为 $\small \varphi_{x}=exp(it^{'}\mu-\frac{1}{2}t^{'}\Sigma t)$ ，其中 $\small \Sigma =AA^{'}$ 。

【property2】

设 $\small x$ 是一个 $\small p$ 维随机向量，则 $\small x$ 服从多元正态分布，当且仅当它的任何线性函数 $\small a^{'}x$ （ $\small a$ 为 $\small p$ 维常数向量）均服从一元正态分布

【property3】

设 $\small x\sim N_{p}(\mu,\Sigma),y=Cx+b$ ，其中 $\small C$ 为 $\small r*p$ 常数矩阵，则 $\small y\sim N_{r}(C\mu+b,C\Sigma C^{'})$

【注】该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量

【eg】设 $\small x\sim N_{p}(\mu,\Sigma),a$ 为 $\small p$ 维常数向量，则有上述性质2或3可知， $\small a^{'}x\sim N(a^{'}\mu,a^{'}\Sigma a)$

【eg】设 $\small x\sim N_{2}(\mu,\Sigma),$ 其中 $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix},\mu =\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix},\Sigma=\begin{pmatrix} \sigma _{1}^2 &\rho \sigma _{1} \sigma _{2} \\ \rho \sigma _{1} \sigma _{2} & \sigma _{2}^2 \end{pmatrix}$ ，则：

$\small x_{1}-x_{2}\sim N(\mu_{1}-\mu_{2},\sigma _{1}^2+\sigma _{2}^2-2\rho \sigma _{1}\sigma _{2})$

【property4】

设 $\small x\sim N_{p}(\mu,\Sigma)$ ，则 $\small x$ 的任何子向量也服从（多元）正态分布，其均值为 $\small \mu$ 的相应子向量，协方差矩阵为 $\small \Sigma$ 的相应子矩阵

【注1】该性质表明多元正态分布的任何边缘分布仍为（多元）正态分布

【注2】随机向量的任何边缘分布皆为（多元）正态分布推不出该随机向量服从多元正态分布（反例：习题2.3）

【注3】正态变量的线性组合未必就是正态变量。

$\small x_{1},x_{2},\cdots ,x_{n}$ 均为一元正态变量 $\small \Leftarrow x_{1},x_{2},\cdots ,x_{n}$ 的联合分布为多元正态分布 $\small \Leftrightarrow x_{1},x_{2},\cdots ,x_{n}$ 的一切线性组合是一元正态变量

【例】设 $\small x\sim N_{4}(\mu,\Sigma)$ ，这里 $\small x=\begin{pmatrix} x_{1}\\ x_{2}\\ x_{3}\\ x_{4} \end{pmatrix},\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2}\\ \mu_{3}\\ \mu_{4} \end{pmatrix},\Sigma=\begin{pmatrix} \sigma_{11} & \sigma_{12} & \sigma_{13} &\sigma_{14} \\ \sigma_{21} & \sigma_{22} & \sigma_{23} &\sigma_{24} \\ \sigma_{31}&\sigma_{32} &\sigma_{33} &\sigma_{34} \\ \sigma_{41} &\sigma_{42} & \sigma_{43} &\sigma_{44} \end{pmatrix}$ ，则：

$\small x_{i}\sim N(\mu_{i},\sigma_{ii}),i=1,2,3,4$
$\small \begin{pmatrix} x_{4}\\ x_{1}\\ x_{3} \end{pmatrix}\sim N_{3}\left ( \begin{pmatrix} \mu_{4}\\ \mu_{1}\\ \mu_{3} \end{pmatrix} ,\begin{pmatrix} \sigma_{44} & \sigma_{41} & \sigma_{43} \\ \sigma_{14} & \sigma_{11} &\sigma_{13} \\ \sigma_{34} & \sigma_{31} & \sigma_{33} \end{pmatrix}\right )$
$\small \begin{pmatrix} x_{1}\\ x_{4} \end{pmatrix}\sim N_{2}\left ( \begin{pmatrix} \mu_{1}\\ \mu_{4} \end{pmatrix} ,\begin{pmatrix} \sigma_{11} &\sigma_{14} \\ \sigma_{41} & \sigma_{44} \end{pmatrix}\right )$

【property5】

设 $\small x_{1},x_{2},\cdots ,x_{n}$ 相互独立，且 $\small x_{i}\sim N_{p}(\mu_{i},\Sigma_{i}),i=1,2,\cdots,n$ ，则对任意 $\small n$ 个常数 $\small k_{1},k_{2},\cdots,k_{n}$ ，有 $\small \sum_{i=1}^{n}k_{i}x_{i}\sim N_{p}\left ( \sum_{i=1}^{n}k_{i}\mu_{i},\sum_{i=1}^{n}k_{i}^2 \Sigma_{i} \right )$