文章目录
Chapter 1:多元统计分析基础
一、随机向量
Part 1:随机向量的分布
联合分布函数:设 X = ( X 1 , X 2 , ⋯ , X p ) ′ X=\left(X_1,X_2,\cdots,X_p\right)' X=(X1,X2,⋯,Xp)′ 是一个 p p p 维随机向量,定义 p p p 元函数
F ( x 1 , x 2 , ⋯ , x p ) = P ( X 1 ≤ x 1 , X 2 ≤ x 2 , ⋯ , X p ≤ x p ) , F(x_1,x_2,\cdots,x_p)=P\left(X_1\leq x_1,X_2\leq x_2,\cdots,X_p\leq x_p\right) \ , F(x1,x2,⋯,xp)=P(X1≤x1,X2≤x2,⋯,Xp≤xp) ,
称 F ( x 1 , x 2 , ⋯ , x p ) F(x_1,x_2,\cdots,x_p) F(x1,x2,⋯,xp) 为 X X X 的联合分布函数。
联合密度函数:如果存在一个 p p p 元非负函数 f ( x 1 , x 2 , ⋯ , x p ) f(x_1,x_2,\cdots,x_p) f(x1,x2,⋯,xp) ,使得对一切 ( x 1 , x 2 , ⋯ , x p ) (x_1,x_2,\cdots,x_p) (x1,x2,⋯,xp) 都有
F ( x 1 , x 2 , ⋯ , x p ) = ∫ − ∞ x 1 ∫ − ∞ x 2 ⋯ ∫ − ∞ x p f ( x 1 , x 2 , ⋯ , x p ) d x 1 d x 2 ⋯ d x p , F(x_1,x_2,\cdots,x_p)=\int_{-\infty}^{x_1}\int_{-\infty}^{x_2}\cdots \int_{-\infty}^{x_p}f(x_1,x_2,\cdots,x_p){\rm d}x_1{\rm d}x_2\cdots{\rm d}x_p \ , F(x1,x2,⋯,xp)=∫−∞x1∫−∞x2⋯∫−∞xpf(x1,x2,⋯,xp)dx1dx2⋯dxp ,
则称 f ( x 1 , x 2 , ⋯ , x p ) f(x_1,x_2,\cdots,x_p) f(x1,x2,⋯,xp) 为 X X X 的联合密度函数。
边际密度函数:设 X ( 1 ) X^{(1)} X(1) 为 r r r 维随机向量, X ( 2 ) X^{(2)} X(2) 为 p − r p-r p−r 为随机向量,且 X ( 1 ) X^{(1)} X(1) 和 X ( 2 ) X^{(2)} X(2) 都是随机向量 X X X 的部分分量,满足
X = [ X ( 1 ) X ( 2 ) ] , X=\left[\begin{array}{c} X^{(1)} \\ X^{(2)} \end{array}\right] \ , X=[X(1)X(2)] ,
定义 X ( 1 ) X^{(1)} X(1) 的边际密度函数为
f 1 ( x ( 1 ) ) = f 1 ( x 1 , x 2 , ⋯ , x r ) = ∫ − ∞ ∞ ∫ − ∞ ∞ ⋯ ∫ − ∞ ∞ f ( x 1 , x 2 , ⋯ , x p ) d x r + 1 d x r + 2 ⋯ d x p , f_1(x^{(1)})=f_1(x_1,x_2,\cdots,x_r)=\int_{-\infty}^\infty\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty f(x_1,x_2,\cdots,x_p){\rm d}x_{r+1}{\rm d}x_{r+2}\cdots{\rm d}x_p \ , f1(x(1))=f1(x1,x2,⋯,xr)=∫−∞∞∫−∞∞⋯∫−∞∞f(x1,x2,⋯,xp)dxr+1dxr+2⋯dxp ,
定义 X ( 2 ) X^{(2)} X(2) 的边际密度函数为
f 2 ( x ( 2 ) ) = f 2 ( x r + 1 , x r + 2 , ⋯ , x p ) = ∫ − ∞ ∞ ∫ − ∞ ∞ ⋯ ∫ − ∞ ∞ f ( x 1 , x 2 , ⋯ , x p ) d x 1 d x 2 ⋯ d x r . f_2(x^{(2)})=f_2(x_{r+1},x_{r+2},\cdots,x_p)=\int_{-\infty}^\infty\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty f(x_1,x_2,\cdots,x_p){\rm d}x_{1}{\rm d}x_{2}\cdots{\rm d}x_r \ . f2(x(2))=f2(xr+1,xr+2,⋯,xp)=∫−∞∞∫−∞∞⋯∫−∞∞f(x1,x2,⋯,xp)dx1dx2⋯dxr .
条件密度函数:当 X X X 的密度函数可以写为 f ( x ( 1 ) , x ( 2 ) ) f(x^{(1)},x^{(2)}) f(x(1),x(2)) 时,定义给定 X ( 2 ) X^{(2)} X(2) 时 X ( 1 ) X^{(1)} X(1) 的条件密度函数为
f 1 ( x ( 1 ) ∣ x ( 2 ) ) = f ( x ( 1 ) , x ( 2 ) ) f 2 ( x ( 2 ) ) . f_1(x^{(1)}|x^{(2)})=\frac{f(x^{(1)},x^{(2)})}{f_2(x^{(2)})} \ . f1(x(1)∣x(2))=f2(x(2))f(x(1),x(2)) .
分量的独立性:设 X 1 , X 2 , ⋯ , X p X_1,X_2,\cdots,X_p X1,X2,⋯,Xp 是 p p p 个随机变量,则 X 1 , X 2 , ⋯ , X p X_1,X_2,\cdots,X_p X1,X2,⋯,Xp 相互独立当且仅当
F ( x 1 , x 2 , ⋯ , x p ) = F 1 ( x 1 ) F 2 ( x 2 ) ⋯ F p ( x p ) . F(x_1,x_2,\cdots,x_p)=F_1(x_1)F_2(x_2)\cdots F_p(x_p) \ . F(x1,x2,⋯,xp)=F1(x1)F2(x2)⋯Fp(xp) .
若 X = ( X 1 , X 2 , ⋯ , X p ) ′ X=\left(X_1,X_2,\cdots,X_p\right)' X=(X1,X2,⋯,Xp)′ 的联合密度函数及其各个分量的密度函数均存在,则 X 1 , X 2 , ⋯ , X p X_1,X_2,\cdots,X_p X1,X2,⋯,Xp 相互独立当且仅当
f ( x 1 , x 2 , ⋯ , x p ) = f 1 ( x 1 ) f 2 ( x 2 ) ⋯ f p ( x p ) . f(x_1,x_2,\cdots,x_p)=f_1(x_1)f_2(x_2)\cdots f_p(x_p) \ . f(x1,x2,⋯,xp)=f1(x1)f2(x2)⋯fp(xp) .
Part 2:随机向量的数字特征
随机向量的均值向量:设 X = ( X 1 , X 2 , ⋯ , X p ) ′ X=(X_1,X_2,\cdots,X_p)' X=(X1,X2,⋯,Xp)′ 是一个 p p p 维随机向量,如果对 X X X 的任何分量 X i X_i Xi 都有均值 E ( X i ) = μ i {\rm E}(X_i)=\mu_i E(Xi)=μi 存在,则定义随机向量 X X X 的均值向量为
E ( X ) = [ E ( X 1 ) E ( X 2 ) ⋮ E ( X p ) ] = [ μ 1 μ 2 ⋮ μ p ] . {\rm E}(X)=\left[\begin{array}{c} {\rm E}(X_1) \\ {\rm E}(X_2) \\ \vdots \\ {\rm E}(X_p) \end{array}\right]=\left[\begin{array}{c}\mu_1 \\\mu_2 \\ \vdots \\ \mu_p\end{array}\right] \ . E(X)=⎣⎢⎢⎢⎡E(X1)E(X2)⋮E(Xp)⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡μ1μ2⋮μp⎦⎥⎥⎥⎤ .
随机向量的协方差阵:设 X = ( X 1 , X 2 , ⋯ , X p ) ′ X=(X_1,X_2,\cdots,X_p)' X=(X1,X2,⋯,Xp)′ 是一个 p p p 维随机向量,如果对 X X X 的任何两个分量 X i X_i Xi 和 X j X_j Xj 都有协方差 C o v ( X i , X j ) = σ i j {\rm Cov}(X_i,X_j)=\sigma_{ij} Cov(Xi,Xj)=σij 存在,则定义随机向量 X X X 的协方差阵为
V a r ( X ) = E [ ( X − E ( X ) ) ( X − E ( X ) ) ′ ] = [ C o v ( X 1 , X 1 ) C o v ( X 1 , X 2 ) ⋯ C o v ( X 1 , X p ) C o v ( X 2 , X 1 ) C o v ( X 2 , X 2 ) ⋯ C o v ( X 2 , X p ) ⋮ ⋮ ⋱ ⋮ C o v ( X p , X 1 ) C o v ( X p , X 2 ) ⋯ C o v ( X p , X p ) ] . = ( σ i j ) p × p = d e f Σ . \begin{aligned} {\rm Var}(X)&={\rm E}\left[(X-{\rm E}(X))(X-{\rm E}(X))'\right] \\ \\ &=\left[\begin{array}{cccc} {\rm Cov}(X_1,X_1) & {\rm Cov}(X_1,X_2) & \cdots & {\rm Cov}(X_1,X_p) \\ {\rm Cov}(X_2,X_1) & {\rm Cov}(X_2,X_2) & \cdots & {\rm Cov}(X_2,X_p) \\ \vdots & \vdots & \ddots & \vdots \\ {\rm Cov}(X_p,X_1) & {\rm Cov}(X_p,X_2) & \cdots & {\rm Cov}(X_p,X_p)\\ \end{array}\right] \ . \\ \\ &=\left(\sigma_{ij}\right)_{p\times p}\xlongequal{def}\Sigma \ . \end{aligned} Var(X)=E[(X−E(X))(X−E(X))′]=⎣⎢⎢⎢⎡C