概率论与数理统计复习

概率论的基本概念

事件频率

• 对任一事件 $A$：$0\le f_n(A)\le 1$
• $f_n(S)=1$
• 当事件 $A$ 和事件 $B$ 不相容时，$f_n(A\cup B)=f_n(A)+f_n(B)$
• 推广：$f_n\left(\bigcup _{j=1}^k{A}_j\right)=\sum _{j=1}^k{f}_n(A_j)$

概率公理

• 非负性：$P(A)\ge 0$
• 规范性：$P(S)=1$
• 可列可加性：对 $S$ 中的可列个两两不相容事件 $A_1,A_2,\dots ,A_n,\dots$，有 $P\left(\bigcup _{j=1}^{+\infty }{A}_j\right)=\sum _{j=1}^{+\infty }P(A_j)$

概率性质

• 对于有限个两两不相容的事件的和事件，有 $P\left(\bigcup _{j=1}^n{A}_j\right)=\sum _{j=1}^{n}P(A_j)$
• $P(\bar{A})=1-P(A)$
• 当 $B\subset A$ 时，$P(A-B)=P(A)-P(B)$，从而 $P(A)\ge P(B)$
   证明：$A=B\cup A\bar{B}\stackrel{\because B\cap A\bar{B}=\varnothing }{\Rightarrow }P(A)=P(B)+P(A\bar{B})=P(B)+P(A-B)$
   $\therefore P(A-B)=P(A)-P(B)\stackrel{\because P(A-B)\ge 0}{\Rightarrow }P(A)\ge P(B)$
• 一般情况下：$P(A-B)=P(A)-P(AB)$
• 概率加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$
   证明：$\{\begin{array}{l}A=A\cap (B\cup \bar{B})=AB\cup A\bar{B}\stackrel{\because AB\cap A\bar{B}=\varnothing }{\Rightarrow }P(A)=P(AB)+P(A\bar{B})\\ A\cup B=B\cup A\bar{B}\stackrel{\because B\cap A\bar{B}=\varnothing }{\Rightarrow }P(A\cup B)=P(B)+P(A\bar{B})\end{array}$
   $\therefore P(A\cup B)=P(A)+P(B)-P(AB)$
• 推广：$P\left(\bigcup _{j=1}^n{A}_j\right)=\sum _{j=1}^{n}P(A_j)-\sum _{i<j}P(A_i{A}_j)+\sum _{i<j<k}P(A_i{A}_j{A}_k)-\cdots +(-1{)}^{n-1}P(A_1{A}_2\cdots A_n)$

条件概率

• 如果 $P(B)>0$，那么在 $B$ 发生的条件下 $A$ 发生的条件概率为 $P(A|B)=\frac{P(AB)}{P(B)}$
• 当 $P(C)\ne 0$ 时，有：
  • $P(A|C)\ge 0$
  • $P(S|C)=1$
  • $P(B|C)=1-P(\bar{B}|C)$
  • 当 $A\supset B$ 时，$P(A|C)\ge P(B|C)$
  • $P(A\cup B|C)=P(A|C)+P(B|C)-P(AB|C)$
  • 特别地，若 $AB=\varnothing$，则 $P(A\cup B|C)=P(A|C)+P(B|C)$
• 乘法公式：当 $P(A)\ne 0$ 且 $P(B)\ne 0$ 时，$P(AB)=P(A)\cdot P(B|A)=P(B)\cdot P(A|B)$
• 全概率公式：设 $S$ 为某一试验的样本空间，$A$ 为该试验的事件，设 $B_1,B_2,\dots ,B_n$ 是 $S$ 的一个划分，且 $P(B_j)>0$，则 $P(A)=\sum _{j=1}^{n}P(B_j)P(A|B_j)$
   证明：$A=AS=A\cap \left(\bigcup _{j=1}^n{B}_j\right)=\bigcup _{j=1}^{n}A{B}_j\stackrel{\because P(A{B}_j)=P(B_j)\cdot P(A|B_j)}{\Rightarrow }P(A)\sum _{j=1}^{n}P(B_j)P(A|B_j)$
• 贝叶斯公式：设 $S$ 为某一试验的样本空间，$A$ 为该试验的事件且 $P(A)\ne 0$，设 $B_1,B_2,\dots ,B_n$ 是 $S$ 的一个划分，且 $P(B_j)>0$，则 $P(B_k|A)=\frac{P(B_{k}A)}{P(A)}=\frac{P(B_k)P(A|B_k)}{\sum _{j=1}^{n}P(B_j)P(A|B_j)}$

事件的独立性

• 设 $A$ 和 $B$ 为两随机事件，当 $P(AB)=P(A)\cdot P(B)$ 时称事件 $A$ 和事件 $B$ 相互独立
• 当 $P(A)\cdot P(B)\ne 0$ 时，“事件 $A$ 和事件 $B$ 相互独立”等价于条件概率等于无条件概率，即 $P(B|A)=P(B)$ 或 $P(A|B)=P(A)$
• 当事件 $A$ 和事件 $B$ 相互独立时，$A$ 和 $\bar{B}$、$\bar{A}$ 和 $B$、$\bar{A}$ 和 $\bar{B}$ 均相互独立
• 设 $A,B,C$ 为三个随机事件，当 $\{\begin{array}{l}P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(CA)=P(C)P(A)\end{array}$ 都成立时，称事件 $A,B,C$ 两两独立；如果还满足 $P(ABC)=P(A)P(B)P(C)$，则称事件 $A,B,C$ 相互独立
• 若 $n$ 个事件 $A_1,A_2,\dots ,A_n(n\ge 2)$ 的任一子排列 $A_{i_1},A_{i_2},\dots ,A_{i_k}(2\le k\le n)$ 都满足 $P(A_{i_1}{A}_{i_2}\cdots A_{i_k})=\prod _{j=1}^{k}P(A_{i_j})$，则称事件 $A_1,A_2,\dots ,A_n$ 相互独立

随机变量及其概率分布

二项分布

• 若随机变量 $X$ 的概率分布律为 P { X = k } = C n k ( 1 − p ) n − k p k   ( k ∈ N ) P\{X=k\}=C_n^k(1-p)^{n-k}p^k \ (k \in \mathbb{N}) P{X=k}=Cnk​(1−p)n−kpk (k∈N)，其中 $0<p<1$ 且 $n\ge 1$，则称 $X$ 服从参数为 $(n,p)$ 的二项分布，记作 $X\sim B(n,p)$

泊松分布

• 若随机变量 $X$ 的概率分布律为 P { X = k } = e − λ ⋅ λ k k !   ( k ∈ N ) P\{X=k\}=e^{-\lambda} \cdot \dfrac{\lambda^k}{k!} \ (k \in \mathbb{N}) P{X=k}=e−λ⋅k!λk​ (k∈N)，其中 $\lambda >0$，则称 $X$ 服从参数为 $\lambda$ 的泊松分布，记作 $X\sim P(\lambda )$
• 当 $n$ 足够大、$p$ 足够小时，可以用泊松分布 $P(np)$ 近似估计二项分布 $B(n,p)$

随机变量的分布函数

• F ( x ) = P { X ≤ x } = ∑ x i ≤ x P { X = x i }    o r    ∫ − ∞ x P { X = x } d x F(x)=P\{X \leq x\}=\displaystyle\sum_{x_i \leq x}{P\{X=x_i\}} \ \ \mathrm{or} \ \ \displaystyle\int_{-\infty}^x{P\{X=x\}\mathrm{d}x} F(x)=P{X≤x}=xi​≤x∑​P{X=xi​}  or  ∫−∞x​P{X=x}dx
• P { x 1 < X ≤ x 2 } = P { X ≤ x 2 } − P { X ≤ x 1 } = F ( x 2 ) − F ( x 1 ) P\{x_1<X \leq x_2\}=P\{X \leq x_2\}-P\{X \leq x_1\}=F(x_2)-F(x_1) P{x1​<X≤x2​}=P{X≤x2​}−P{X≤x1​}=F(x2​)−F(x1​)
• 分布函数的性质：
  • $F(x)$ 单调不减
  • $0\le F(x)\le 1$，且满足 $\underset{a\to -\infty }{\lim }F(a)=0$ 和 $\underset{b\to +\infty }{\lim }F(b)=1$
  • $F(x+0)=F(x)$，即 $F(x)$ 右连续

连续型随机变量的密度函数

• 对于随机变量 $X$，其分布函数为 $F(x)$，若存在一个非负的实函数 $f(x)$，使得对任意实数 $x$，有 $F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t$，则称 $f(x)$ 为连续型随机变量 $X$ 的密度函数
• 密度函数的性质：
  • $f(x)\ge 0$
  • ${\int }_{-\infty }^{+\infty }f(t)\mathrm{d}t=1$
  • 对于任意实数 $x_1<x_2$，有 P { x 1 < X ≤ x 2 } = F ( x 2 ) − F ( x 1 ) = ∫ x 1 x 2 f ( t ) d t P\{x_1<X \leq x_2\}=F(x_2)-F(x_1)=\displaystyle\int_{x_1}^{x_2}{f(t)\mathrm{d}t} P{x1​<X≤x2​}=F(x2​)−F(x1​)=∫x1​x2​​f(t)dt
  • 若 $f(x)$ 在 $x=x_0$ 处连续，则 $F^{\prime }(x)=f(x)$
• 由 $F(x)$ 的连续性可以推出 P { X = a } = 0 P\{X=a\}=0 P{X=a}=0，即连续型随机变量取任一定值的概率为零

均匀分布

• 设随机变量 $X$ 具有密度函数 $f(x)=\{\begin{array}{l}\frac{1}{b-a},x\in (a,b)\\ 0,otherwise\end{array}$，则称 $X$ 服从区间 $(a,b)$ 上的均匀分布，记作 $X\sim U(a,b)$
• 均匀分布的分布函数：$F(x)=\{\begin{array}{ll}0,& x<a\\ \frac{x-a}{b-a},& a\le x<b\\ 1,& x\ge b\end{array}$

正态分布

• 设随机变量 $X$ 具有密度函数 $f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right]$，其中 $\sigma >0$ 且 $|\mu |<+\infty$，则称 $X$ 服从参数为 $(\mu ,\sigma )$ 的正态分布，记作 $X\sim N(\mu ,{\sigma }^2)$
• 正态分布密度函数的性质：
  • $f(x)$ 关于 $x=\mu$ 对称
  • $\underset{|x|<+\infty }{\max }f(x)=f(\mu )=\frac{1}{\sqrt{2\pi }\sigma }$
  • $\underset{|x-\mu |\to +\infty }{\lim }f(x)=0$
• 标准正态分布 $Z\sim N(0,1)$，密度函数 $\phi (x)=\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{x^2}{2}\right)$，分布函数 $\Phi (x)=\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{x^2}{2}\right)$
  • 根据对称性， Φ ( − x ) = P { Z ≤ − x } = P { Z ≥ x } = 1 − Φ ( x ) \Phi(-x)=P\{Z \leq -x\}=P\{Z \ge x\}=1-\Phi(x) Φ(−x)=P{Z≤−x}=P{Z≥x}=1−Φ(x)
  • 对于一般正态分布 $X\sim N(\mu ,{\sigma }^2)$， P { a < X < b } = Φ ( b − μ σ ) − Φ ( a − μ σ ) P\{a<X<b\}=\Phi\left(\dfrac{b-\mu}{\sigma}\right)-\Phi\left(\dfrac{a-\mu}{\sigma}\right) P{a<X<b}=Φ(σb−μ​)−Φ(σa−μ​)
  • 若 $z_{\alpha }$ 满足 $\Phi (z_{\alpha })=1-\alpha$，称 $z_{\alpha }$ 为标准正态分布的上 $\alpha$ 分位数

指数分布

• 设随机变量 $X$ 具有密度函数 $f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& x>0\\ 0,& x\le 0\end{array}$，其中 $\lambda >0$，则称 $X$ 服从参数为 $\lambda$ 的指数分布，记作 $X\sim E(\lambda )$
• 指数分布的分布函数：$F(x)=\{\begin{array}{ll}1-e^{-\lambda x},& x>0\\ 0,& x\le 0\end{array}$
• 指数分布具有无记忆性： P { X > t 0 + t } = P { X > t 0 } ⋅ P { X > t } P\{X>t_0+t\}=P\{X>t_0\} \cdot P\{X>t\} P{X>t0​+t}=P{X>t0​}⋅P{X>t}

随机变量函数的分布

• 设 $X$ 为一连续型随机变量，其密度函数为 $f_X(x)$，随机变量 $Y=g(X)$。若函数 $y=g(x)$ 为一严格单调递增（或单调递减）函数，且处处可微，记其反函数为 $x=h(y)$，则 $Y$ 的密度函数为 $f_Y(y)=\{\begin{array}{ll}{f}_X(h(y))\cdot |h^{\prime }(y)|,& y\in D\\ 0,& y\notin D\end{array}$，其中 $D$ 为函数 $y=g(x)$ 的值域

多元随机变量及其分布

二元离散型随机变量

• 设二元离散型随机变量 $(X,Y)$ 的可能取值为 $(x_i,y_j)$，其中 $i,j\in {\mathbb{N}}^{+}$，称 P { X = x i , Y = y j } = p i j P\{X=x_i, Y=y_j\}=p_{ij} P{X=xi​,Y=yj​}=pij​ 为 $(X,Y)$ 的联合分布律
• 二元离散型随机变量的边际分布：
  • P { X = x i } = P ( ⋃ j = 1 + ∞ { X = x i , Y = y j } ) = ∑ j = 1 + ∞ p i j ≜ p i ⋅ P\{X=x_i\}=P\left(\displaystyle\bigcup_{j=1}^{+\infty}{\{X=x_i, Y=y_j\}}\right)=\displaystyle\sum_{j=1}^{+\infty}{p_{ij}} \triangleq p_{i \cdot} P{X=xi​}=P(j=1⋃+∞​{X=xi​,Y=yj​})=j=1∑+∞​pij​≜pi⋅​
  • P { Y = y j } = P ( ⋃ i = 1 + ∞ { X = x i , Y = y j } ) = ∑ i = 1 + ∞ p i j ≜ p ⋅ j P\{Y=y_j\}=P\left(\displaystyle\bigcup_{i=1}^{+\infty}{\{X=x_i, Y=y_j\}}\right)=\displaystyle\sum_{i=1}^{+\infty}{p_{ij}} \triangleq p_{\cdot j} P{Y=yj​}=P(i=1⋃+∞​{X=xi​,Y=yj​})=i=1∑+∞​pij​≜p⋅j​
• 二元离散型随机变量的条件分布：
  • P { X = x i ∣ Y = y j } = P { X = x i , Y = y j } P { Y = y j } = p i j p ⋅ j P\{X=x_i|Y=y_j\}=\dfrac{P\{X=x_i, Y=y_j\}}{P\{Y=y_j\}}=\dfrac{p_{ij}}{p_{\cdot j}} P{X=xi​∣Y=yj​}=P{Y=yj​}P{X=xi​,Y=yj​}​=p⋅j​pij​​
  • P { Y = y j ∣ X = x i } = P { X = x i , Y = y j } P { X = x i } = p i j p i ⋅ P\{Y=y_j|X=x_i\}=\dfrac{P\{X=x_i, Y=y_j\}}{P\{X=x_i\}}=\dfrac{p_{ij}}{p_{i \cdot}} P{Y=yj​∣X=xi​}=P{X=xi​}P{X=xi​,Y=yj​}​=pi⋅​pij​​

二元随机变量的分布函数

• 二元随机变量的联合分布函数：设二元随机变量 $(X,Y)$，对于任意实数 $x,y$，称函数 F ( x , y ) = P { X ≤ x , Y ≤ y } F(x,y)=P\{X \leq x, Y \leq y\} F(x,y)=P{X≤x,Y≤y} 为 $(X,Y)$ 的联合分布函数
• 二元联合分布函数的性质：
  • 对于固定的 $x=x_0$，$F(x_0,y)$ 关于 $y$ 单调不减
  • 对于固定的 $y=y_0$，$F(x,y_0)$ 关于 $x$ 单调不减
  • $0\le F(x,y)\le 1$
  • $F(x,-\infty )=F(-\infty ,y)=F(-\infty ,-\infty )=0,F(+\infty ,+\infty )=1$
  • $F(x+0,y)=F(x,y)$，即 $F(x,y)$ 关于 $x$ 右连续
  • $F(x,y+0)=F(x,y)$，即 $F(x,y)$ 关于 $y$ 右连续
  • 对于实数 $x_1<x_2$ 和 $y_1<y_2$， P { x 1 < X ≤ x 2 , y 1 < Y ≤ y 2 } = F ( x 2 , y 2 ) − F ( x 1 , y 2 ) − F ( x 2 , y 1 ) + F ( x 1 , y 1 ) P\{x_1<X \leq x_2, y_1<Y \leq y_2\}=F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1) P{x1​<X≤x2​,y1​<Y≤y2​}=F(x2​,y2​)−F(x1​,y2​)−F(x2​,y1​)+F(x1​,y1​)
• 二元边际分布函数：
  • F X ( x ) = P { X ≤ x } = P { X ≤ x , Y ≤ + ∞ } = F ( x , + ∞ ) F_X(x)=P\{X \leq x\}=P\{X \leq x, Y \leq +\infty\}=F(x, +\infty) FX​(x)=P{X≤x}=P{X≤x,Y≤+∞}=F(x,+∞)
  • F Y ( y ) = P { Y ≤ y } = P { X ≤ + ∞ , Y ≤ y } = F ( + ∞ , y ) F_Y(y)=P\{Y \leq y\}=P\{X \leq +\infty, Y \leq y\}=F(+\infty, y) FY​(y)=P{Y≤y}=P{X≤+∞,Y≤y}=F(+∞,y)
• 二元条件分布函数： F Y ∣ X ( y ∣ x i ) = P { Y ≤ y ∣ X = x i }    o r    lim ⁡ δ → 0 + P { Y ≤ y ∣ x i < X ≤ x i + δ } F_{Y|X}(y|x_i)=P\{Y \leq y|X=x_i\} \ \ \mathrm{or} \ \ \displaystyle\lim_{\delta \to 0^+}{P\{Y \leq y|x_i<X \leq x_i+\delta\}} FY∣X​(y∣xi​)=P{Y≤y∣X=xi​}  or  δ→0+lim​P{Y≤y∣xi​<X≤xi​+δ}

二元连续型随机变量

• 设二元随机变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，若存在二元函数 $f(x,y)\ge 0$，对任意实数 $x,y$ 有 $F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)\mathrm{d}u\mathrm{d}v$，则称 $f(x,y)$ 为 $(X,Y)$ 的联合密度函数
• 联合密度函数的性质：
  • $f(x,y)\ge 0$
  • ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(u,v)\mathrm{d}u\mathrm{d}v=F(+\infty ,+\infty )=1$
  • 若 $F(x,y)$ 在 $(x,y)$ 处连续，则 $\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$
  • $(X,Y)$ 落入 $xOy$ 平面任一区域 $D$ 的概率为 P { ( X , Y ) ∈ D } = ∬ D f ( x , y ) d x d y P\{(X,Y) \in D\}=\displaystyle\iint_D{f(x,y)\mathrm{d}x\mathrm{d}y} P{(X,Y)∈D}=∬D​f(x,y)dxdy
• 二元连续型随机变量的边际分布：
  • F X ( x ) = P { X ≤ x } = P { X ≤ x , Y ≤ + ∞ } = ∫ − ∞ x [ ∫ − ∞ + ∞ f ( x , y ) d y ] d x F_X(x)=P\{X \leq x\}=P\{X \leq x, Y \leq +\infty\}=\displaystyle\int_{-\infty}^{x}{\left[\displaystyle\int_{-\infty}^{+\infty}{f(x,y)\mathrm{d}y}\right]\mathrm{d}x} FX​(x)=P{X≤x}=P{X≤x,Y≤+∞}=∫−∞x​[∫−∞+∞​f(x,y)dy]dx
  • $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}y$
  • F Y ( y ) = P { Y ≤ y } = P { X ≤ + ∞ , Y ≤ y } = ∫ − ∞ y [ ∫ − ∞ + ∞ f ( x , y ) d x ] d y F_Y(y)=P\{Y \leq y\}=P\{X \leq +\infty, Y \leq y\}=\displaystyle\int_{-\infty}^{y}{\left[\displaystyle\int_{-\infty}^{+\infty}{f(x,y)\mathrm{d}x}\right]\mathrm{d}y} FY​(y)=P{Y≤y}=P{X≤+∞,Y≤y}=∫−∞y​[∫−∞+∞​f(x,y)dx]dy
  • $f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x$
• 条件密度函数：
  • $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)},f_X(x)\ne 0$
  • $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)},f_Y(y)\ne 0$
• 设二元随机变量 $(X,Y)$ 具有联合密度函数 $f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \left\{-\frac{1}{2(1-{\rho }^2)}\left[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}\right]\right\}$，其中 $|{\mu }_1|,|{\mu }_2|<+\infty$，${\sigma }_1,{\sigma }_2>0$，$|\rho |<1$，则称 $(X,Y)$ 服从参数为 $({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$ 的二元正态分布，记为 $(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$
  • $X,Y$ 的边际分布也是正态分布：$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$
  • 当给定 { X = x } \{X=x\} {X=x} 的条件下，$Y$ 的条件分布也是正态分布：$Y|X=x\sim N\left({\mu }_2+\rho \frac{{\sigma }_1}{{\sigma }_2}(x-{\mu }_1),(1-{\rho }^2){\sigma }_2^2\right)$
  • 当给定 { Y = y } \{Y=y\} {Y=y} 的条件下，$X$ 的条件分布也是正态分布：$X|Y=y\sim N\left({\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}(y-{\mu }_2),(1-{\rho }^2){\sigma }_1^2\right)$

随机变量的独立性

• 对于任意两个实数集合 $D_1,D2$，若 P { X ∈ D 1 , Y ∈ D 2 } = P { X ∈ D 1 } ⋅ P { Y ∈ D 2 } P\{X \in D_1,Y \in D_2\}=P\{X \in D_1\} \cdot P\{Y \in D_2\} P{X∈D1​,Y∈D2​}=P{X∈D1​}⋅P{Y∈D2​}，则称随机变量 $X,Y$ 相互独立
• 当 $F(x,y)=F_X(x)\cdot F_Y(y)$ 时，$X,Y$ 相互独立
• 对于连续型随机变量，被积的密度函数在除了面积为零的区域外处处相等，即 $f(x,y)=f_X(x)\cdot f_Y(y)$，为相互独立的等价定义
• 二元连续型随机变量 $X,Y$ 相互独立的充要条件是 $X,Y$ 的联合密度函数 $f(x,y)$ 几乎处处可写成关于 $x$ 的函数 $m(x)$ 和关于 $y$ 的函数 $n(y)$，即 $f(x,y)=m(x)\cdot n(y),|x|<+\infty ,|y|<+\infty ,f(x,y)\ne 0$

二元随机变量函数的分布

• $Z=X+Y$：
  • $f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)\mathrm{d}x$
  • $f_Z(z)={\int }_{-\infty }^{+\infty }f(z-y,y)\mathrm{d}y$
• $M=\max (X,Y)$：
  • F M ( t ) = P { max ⁡ ( X , Y ) ≤ t } = P { X ≤ t , Y ≤ t } = F ( t , t ) F_M(t)=P\{\max(X,Y) \leq t\}=P\{X \leq t, Y \leq t\}=F(t,t) FM​(t)=P{max(X,Y)≤t}=P{X≤t,Y≤t}=F(t,t)
  • 若 $X,Y$ 相互独立，则 $F_M(t)=F_x(t)\cdot F_Y(t)$
• $N=\min (X,Y)$：
  • F N ( t ) = P { min ⁡ ( X , Y ) ≤ t } = 1 − P { min ⁡ ( X , Y ) > t } = 1 − P { X > t , Y > t } F_N(t)=P\{\min(X,Y) \leq t\}=1-P\{\min(X,Y)>t\}=1-P\{X>t, Y>t\} FN​(t)=P{min(X,Y)≤t}=1−P{min(X,Y)>t}=1−P{X>t,Y>t}
  • 若 $X,Y$ 相互独立，则 $F_N(t)=1-[1-F_X(t)]\cdot [1-F_Y(t)]$

随机变量的数字特征

期望

• $E(X)=\sum _{i=1}^{+\infty }{x}_i{p}_i\mathrm{o}\mathrm{r}{\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$
  • 泊松分布的期望：$E(X)=\sum _{k=0}^{+\infty }k\cdot \left(e^{-\lambda }\cdot \frac{{\lambda }^k}{k!}\right)=\lambda e^{-\lambda }\sum _{k=1}^{+\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=\lambda e^{-\lambda }\cdot e^{\lambda }=\lambda$
  • 指数分布的期望：$E(X)={\int }_0^{+\infty }x\cdot \lambda e^{-\lambda x}\cdot \mathrm{d}x={x\cdot (-e^{-\lambda x})|}_0^{+\infty }-{\int }_0^{+\infty }-e^{-\lambda x}\mathrm{d}x={-\frac{1}{\lambda }{e}^{-\lambda x}|}_0^{+\infty }=\frac{1}{\lambda }$
  • 标准正态分布的期望：$E(Z)={\int }_{-\infty }^{+\infty }z\cdot \phi (z)\mathrm{d}z\stackrel{\because f(-z)=-z\phi (z)=-f(z)}{=}0$
• 随机变量函数的期望：$E(g(X))=\sum _{i=1}^{+\infty }g(x_i)p_i\mathrm{o}\mathrm{r}{\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x$
• 二元随机变量函数的期望：$E(h(X,Y))=\sum _{i=1}^{+\infty }\sum _{j=1}^{+\infty }h(x_i,y_i)p_{ij}\mathrm{o}\mathrm{r}{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }h(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$
• 期望的性质：$E\left(c_0+\sum _{i=1}^n{c}_i{X}_i\right)=c_0+\sum _{i=1}^n{c}_{i}E(X_i)$
  • 正态分布的期望：$X\sim N(\mu ,{\sigma }^2)\stackrel{Z=\frac{X-\mu }{\sigma }\sim N(0,1)}{\Rightarrow }E(X)=E(\sigma Z+\mu )=\sigma E(Z)+\mu =\mu$
  • 二项分布的期望：$E(X)=E\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}E(X_i)=\sum _{i=1}^{n}p=np$
• 对于独立变量：$E\left(\prod _{i=1}^n{X}_i\right)=\prod _{i=1}^{n}E(X_i)$

方差

• $\mathrm{V}\mathrm{a}\mathrm{r}(X)=D(X)=E[(X-E(X){)}^2]$
  • 标准差：$\sigma (X)=\sqrt{D(X)}$
  • $D(X)=E[X^2-2X\cdot E(X)+E^2(X)]=E(X^2)-E(X)\cdot 2E(X)+E^2(X)=E(X^2)-E^2(X)$
  • 泊松分布的方差：$E(X^2)=\sum _{k=0}^{+\infty }{k}^2\cdot \left(e^{-\lambda }\cdot \frac{{\lambda }^k}{k!}\right)=\lambda e^{-\lambda }\sum _{k=1}^{+\infty }[(k-1)+1]\cdot \frac{{\lambda }^{k-1}}{(k-1)!}=\lambda e^{-\lambda }\left[\lambda \sum _{k=2}^{+\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+\sum _{k=1}^{+\infty }\frac{{\lambda }^{k-1}}{(k-1)!}\right]=\lambda e^{-\lambda }\left(\lambda e^{\lambda }+e^{\lambda }\right)={\lambda }^2+\lambda \stackrel{E(X)=\lambda }{\Rightarrow }D(X)=\lambda$
  • 指数分布的方差：$E(X^2)={\int }_0^{+\infty }{x}^2\cdot \lambda e^{-\lambda x}\cdot \mathrm{d}x={x^2\cdot (-e^{-\lambda x})|}_0^{+\infty }-{\int }_0^{+\infty }2x\cdot (-e^{-\lambda x})\mathrm{d}x=2{\int }_0^{+\infty }x{e}^{-\lambda x}\mathrm{d}x=\frac{2}{\lambda }E(X)\stackrel{E(X)=\frac{1}{\lambda }}{\Rightarrow }D(X)=\frac{1}{{\lambda }^2}$
  • 标准正态分布的方差：$D(X)=1$
• 方差的性质：$D\left(c_0+\sum _{i=1}^n{c}_i{X}_i\right)=\sum _{i=1}^n{c}_i^{2}D(X_i)$
  • 二项分布的方差：$D(X)=D\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}D(X_i)=\sum _{i=1}^{n}p(1-p)=np(1-p)$

协方差

• $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$
  • 离散型：$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=\sum _{i=1}^{+\infty }\sum _{j=1}^{+\infty }(x_i-E(X))(y_j-E(Y))p_{ij}$
  • 连续型：$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x-E(X))(y-E(Y))f(x,y)\mathrm{d}x\mathrm{d}y$
• 设 $X_1,X_2,\dots ,X_n$ 为方差存在的随机变量，则 $\mathrm{V}\mathrm{a}\mathrm{r}\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^n\mathrm{V}\mathrm{a}\mathrm{r}(X_i)+2\sum _{1\le i<j\le n}\mathrm{C}\mathrm{o}\mathrm{v}(X_i,X_j)$
• 协方差的性质：
  • $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=\mathrm{C}\mathrm{o}\mathrm{v}(Y,X)$
  • $\mathrm{C}\mathrm{o}\mathrm{v}(X,X)=\mathrm{V}\mathrm{a}\mathrm{r}(X)$
  • $\mathrm{C}\mathrm{o}\mathrm{v}(aX,bY)=ab\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)$
  • 若 $\mathrm{C}\mathrm{o}\mathrm{v}(X_i,Y)$ 存在，则 $\mathrm{C}\mathrm{o}\mathrm{v}(X_1+X_2,Y)=\mathrm{C}\mathrm{o}\mathrm{v}(X_1,Y)+\mathrm{C}\mathrm{o}\mathrm{v}(X_2,Y)$
  • 若 $X,Y$ 相互独立，则 $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=0$，但反之不然
  • 当 $\mathrm{V}\mathrm{a}\mathrm{r}(X)\cdot \mathrm{V}\mathrm{a}\mathrm{r}(Y)\ne 0$ 时，有 ${\mathrm{V}\mathrm{a}\mathrm{r}}^2(X,Y)\le \mathrm{V}\mathrm{a}\mathrm{r}(X)\cdot \mathrm{V}\mathrm{a}\mathrm{r}(Y)$，等号成立当且仅当 $X,Y$ 之间有严格的线性关系，即存在常数 $c_1,c_2$ 使得 P { Y = c 1 + c 2 X } = 1 P\{Y=c_1+c_2X\}=1 P{Y=c1​+c2​X}=1

相关系数

• 对于随机变量 $X,Y$，当 $E(X^2),E(Y^2)$ 均存在，且 $\mathrm{V}\mathrm{a}\mathrm{r}(X),\mathrm{V}\mathrm{a}\mathrm{r}(Y)\ne 0$ 时，称 ${\rho }_{XY}=\frac{\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)}{\sqrt{\mathrm{V}\mathrm{a}\mathrm{r}(X)}\sqrt{\mathrm{V}\mathrm{a}\mathrm{r}(Y)}}$
  • 标准化定义：${\rho }_{XY}=\mathrm{C}\mathrm{o}\mathrm{v}(X^{\ast },Y^{\ast })$，其中 $X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$
• 相关系数的性质：
  • 若 $X,Y$ 相互独立，则 ${\rho }_{XY}=0$，但反之不然
  • $|{\rho }_{XY}|\le 1$，等号成立当且仅当 $X,Y$ 之间有严格的线性关系，即存在常数 $c_1,c_2$ 使得 P { Y = c 1 + c 2 X } = 1 P\{Y=c_1+c_2X\}=1 P{Y=c1​+c2​X}=1
• 当随机变量 $X,Y$ 的相关系数 ${\rho }_{XY}=0$ 时，称 $X,Y$ 不相关，等价定义：
  • $\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=0$
  • $E(XY)=E(X)E(Y)$
  • $D(X+Y)=D(X)+D(Y)$

上 $\alpha$ 分位数

• 设连续型随机变量的分布函数 $F(x)$ 和密度函数 $f(x)$，对任意 $0<\alpha <1$，称满足条件 $1-F(x_{\alpha })={\int }_{x_{\alpha }}^{+\infty }f(x)\mathrm{d}x=\alpha$ 的实数 $x_{\alpha }$ 为随机变量 $X$ 的上 $\alpha$ 分位数
• 由正态分布对称性，$z_{1-\alpha }=-z_{\alpha }$

协方差矩阵

• 记 $n$ 元随机变量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$，若其每一分量的方差都存在，则称 $\mathrm{C}\mathrm{o}\mathrm{v}(\mathbf{X})=E[(\mathbf{X}-E(\mathbf{X}))(\mathbf{X}-E(\mathbf{X}){)}^T]=[\mathrm{C}\mathrm{o}\mathrm{v}(X_i,X_j){]}_{n\times n}$ 为 $n$ 元随机变量 $\mathbf{X}$ 的协方差矩阵

• $n$ 元随机变量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$，它的每一分量的方差都存在，记 $\mathbf{X}$ 的协方差矩阵为 $\mathbf{B}=\mathrm{C}\mathrm{o}\mathrm{v}(\mathbf{X})$，数学期望为 $\mathbf{a}=E(\mathbf{X})=(E(X_1),E(X_2),\dots ,E(X_n){)}^T$，则由密度函数 $f(\mathbf{x})=\frac{1}{\sqrt{(2\pi {)}^n|\mathbf{B}|}}\exp \left[-\frac{1}{2}(\mathbf{x}-\mathbf{a}{)}^T{\mathbf{B}}^{-1}(\mathbf{x}-\mathbf{a})\right]$ 定义的分布为 $n$ 元正态分布，常记为 $\mathbf{X}\sim N(\mathbf{a},\mathbf{B})$，其中 $\mathbf{x}=(x_1,x_2,\dots ,x_n{)}^T$，$|\mathbf{B}|=\det \mathbf{B}$

  • 二元正态分布的协方差矩阵：$\mathbf{B}=\left(\begin{array}{cc}{\sigma }_1^2& {\sigma }_1{\sigma }_2\rho \\ {\sigma }_2{\sigma }_1\rho & {\sigma }_2^2\end{array}\right)$
  • $n$ 元正态变量 $(X_1,X_2,\cdots ,X_n{)}^T$ 中的任意 $k$ 元子向量 $(X_{i_1},X_{i_2},\dots ,X_{i_k}{)}^T$ 也服从 $k$ 元正态分布；特别地，$n$ 元正态变量的每一个分量都服从一元正态分布；反之，若 $X_i$ 都是相互独立的正态变量，则 $(X_1,X_2,\cdots ,X_n{)}^T$ 服从 $n$ 元正态分布
  • $\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$ 服从 $n$ 元正态分布的充要条件是任意关于分量的线性组合均服从一元正态分布，即对任意 $n$ 元实向量 $\mathbf{l}=(l_1,l_2,\dots ,l_n{)}^T$，其中 $|\mathbf{l}|\ne 0$，有 $\mathbf{X}\sim N(\mathbf{a},\mathbf{B})⟺{\mathbf{l}}^T\mathbf{B}=\sum _{i=1}^n{l}_i{X}_i\sim N({\mathbf{l}}^T\mathbf{a},{\mathbf{l}}^T\mathbf{B}\mathbf{l})$
  • 正态变量线性变换不变性：对于 $n$ 元正态变量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$，若 $Y_1,Y_2,\dots ,Y_k$ 都是 $X_1,X_2,\dots ,X_n$ 的线性函数，则 $\mathbf{Y}=(Y_1,Y_2,\dots ,Y_k{)}^T$ 服从 $k$ 元正态分布，用矩阵形式表述，若 $\mathbf{X}\sim N(\mathbf{a},\mathbf{B}),\mathbf{C}=[c_{ij}{]}_{k\times n}$，则 $\mathbf{Y}=\mathbf{C}\mathbf{X}\sim N(\mathbf{C}\mathbf{a},\mathbf{C}\mathbf{B}{\mathbf{C}}^T)$

大数定律及中心极限定理

依概率收敛

• 设 { Y n , n ≥ 1 } \{Y_n, n\ge 1\} {Yn​,n≥1} 为一随机变量序列，$c$ 为一常数，若对任意的 $\epsilon >0$，都有 lim ⁡ n → + ∞ P { ∣ Y n − c ∣ ≥ ε } = 0 \displaystyle\lim_{n \to +\infty}{P\{|Y_n-c| \ge \varepsilon\}}=0 n→+∞lim​P{∣Yn​−c∣≥ε}=0 成立，则称 { Y n , n ≥ 1 } \{Y_n, n\ge 1\} {Yn​,n≥1} 依概率收敛于 $c$，记为 $Y_n\stackrel{P}{\to }c,n\to +\infty$
  • 等价表示： lim ⁡ n → + ∞ P { ∣ Y n − c ∣ < ε } = 1 \displaystyle\lim_{n \to +\infty}{P\{|Y_n-c|<\varepsilon\}}=1 n→+∞lim​P{∣Yn​−c∣<ε}=1
• 设 $X_n\stackrel{P}{\to }a,Y_n\stackrel{P}{\to }b,n\to +\infty$，其中 $a,b$ 为常数，若二元函数 $g(x,y)$ 在点 $(a,b)$ 处连续，则有 $g(X_n,Y_n)\stackrel{P}{\to }g(a,b),n\to +\infty$

马尔可夫（Markov）不等式

• 若随机变量 $Y$ 的 $k$ 阶（原点）矩存在，则对任意的 $\epsilon >0$，有 P { ∣ Y ∣ ≥ ε } ≤ E ( ∣ Y ∣ k ) ε k P\{|Y| \ge \varepsilon\} \leq \dfrac{E(|Y|^k)}{\varepsilon^k} P{∣Y∣≥ε}≤εkE(∣Y∣k)​
  • 证明：构造 $Z=\{\begin{array}{ll}\epsilon ,& |Y|\ge \epsilon \\ 0,& |Y|<\epsilon \end{array}$，则 $Z^k\le |Y{|}^k$，故 $E(Z^k)\le E(|Y{|}^k)$，注意到 E ( Z k ) = ε k ⋅ P { ∣ Y ∣ ≥ ε } E(Z^k)=\varepsilon^k \cdot P\{|Y| \ge \varepsilon\} E(Zk)=εk⋅P{∣Y∣≥ε}，因此 P { ∣ Y ∣ ≥ ε } = E ( Z k ) ε k ≤ E ( ∣ Y ∣ k ) ε k P\{|Y| \ge \varepsilon\}=\dfrac{E(Z^k)}{\varepsilon^k} \leq \dfrac{E(|Y|^k)}{\varepsilon^k} P{∣Y∣≥ε}=εkE(Zk)​≤εkE(∣Y∣k)​

切比雪夫（Chebyshev）不等式

• 设随机变量 $X$ 存在期望 $\mu$ 和方差 ${\sigma }^2$，则对任意的 $\epsilon >0$，有 P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X-\mu| \ge \varepsilon\} \leq \dfrac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2​
  • 证明：取 $Y=X-\mu ,k=2$，利用马尔可夫不等式即可

弱大数定律

• 设随机变量序列 { Y i , i ≥ 1 } \{Y_i, i \ge 1\} {Yi​,i≥1}，若存在常数序列 { c n , n ≥ 1 } \{c_n, n \ge 1\} {cn​,n≥1}，使得对任意的 $\epsilon >0$，有 $\underset{n\to +\infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{Y}_i-c_n\right|\ge \epsilon \right\}=0$，则称 { Y i , i ≥ 1 } \{Y_i, i \ge 1\} {Yi​,i≥1} 服从弱大数定律，记作 $\frac{1}{n}\sum _{i=1}^n{Y}_i-c_n\stackrel{P}{\to }0,n\to +\infty$
  • 特别地，当 $c_n\equiv c$ 时，可记为 $\frac{1}{n}\sum _{i=1}^n{Y}_i\stackrel{P}{\to }c,n\to +\infty$

伯努利（Bernoulli）大数定律

• 设 $n_A$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p$ 为事件 $A$ 发生的概率，则对任意的 $\epsilon >0$，有 $\underset{n\to +\infty }{\lim }P\left\{\left|\frac{n_A}{n}-p\right|\ge \epsilon \right\}=0$

辛钦（Khinchin）大数定律

• 设 { X i , i ≥ 1 } \{X_i, i \ge 1\} {Xi​,i≥1} 为独立同分布的随机变量序列，且存在期望 $\mu$，则对任意的 $\epsilon >0$，有 $\underset{n\to +\infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|\ge \epsilon \right\}=0$

林德伯格（Lindeberg）-莱维（Lévy）中心极限定理

• 设 { X i , i ≥ 1 } \{X_i, i \ge 1\} {Xi​,i≥1} 为独立同分布的随机变量序列，且存在期望 $E(X_i)=\mu$ 和方差 $D(X_i)={\sigma }^2$，则对任意的 $x\in \mathbb{R}$，$\underset{n\to +\infty }{\lim }P\left\{\frac{\sum _{i=1}^n{X}_i-E\left(\sum _{i=1}^n{X}_i\right)}{\sqrt{D\left(\sum _{i=1}^n{X}_i\right)}}\le x\right\}=\underset{n\to +\infty }{\lim }P\left\{\frac{\sum _{i=1}^n{X}_i-n\mu }{\sigma \sqrt{n}}\le x\right\}=\Phi (x)$
  • 推论：当 $n$ 充分大时，$\frac{\sum _{i=1}^n{X}_i-n\mu }{\sigma \sqrt{n}}=\frac{\frac{1}{n}\sum _{i=1}^n{X}_i-\mu }{\sigma /\sqrt{n}}=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$

棣莫弗（De Moivre）-拉普拉斯（Laplace）中心极限定理

• 设 $n_A$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p$ 为事件 $A$ 发生的概率，则对任意的 $x\in \mathbb{R}$，有 $\underset{n\to +\infty }{\lim }P\left\{\frac{n_A-np}{\sqrt{np(1-p)}}\le x\right\}=\Phi (x)$

统计量与抽样分布

统计量

• 样本均值 $\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$
• 样本方差 $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2=\frac{1}{n-1}\left(\sum _{i=1}^n{X}_i^2-n{\overline{X}}^2\right)$
• 样本标准差 $S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2}$
• 样本 $k$ 阶（原点）矩 $A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k\in {\mathbb{N}}^{+}$
• 样本 $k$ 阶中心矩 $B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^k,k\in {\mathbb{N}}^{+}$

${\chi }^2$ 分布

• 设 $X_1,X_2,\dots ,X_n$ 为独立同分布的随机变量，且都服从 $N(0,1)$，令 $Y=X_1^2+X_2^2+\cdots +X_n^2$，则称 $Y$ 服从自由度为 $n$ 的 ${\chi }^2$ 分布，记作 $Y\sim {\chi }^2(n)$
  • $E({\chi }^2(n))=\sum _{i=1}^{n}E(X_i^2)=\sum _{i=1}^n[E(X_i)+D(X_i)]=n$
  • $D({\chi }^2(n))=\sum _{i=1}^{n}D(X_i^2)=\sum _{i=1}^n[E(X_i^4)-(E(X_i^2){)}^2]\stackrel{\because E(Z^4)=3}{=}2n$

$t$ 分布

• 设 $X\sim N(0,1),Y\sim {\chi }^2(n)$，且 $X,Y$ 相互独立，则称随机变量 $t=\frac{X}{\sqrt{Y/n}}$ 服从自由度为 $n$ 的 $t$ 分布，记作 $t\sim t(n)$
  • $t_{1-\alpha }(n)=-t_{\alpha }(n)$

$F$ 分布

• 设 $U\sim {\chi }^2(n_1),V\sim {\chi }^2(n_2)$，且 $U,V$ 相互独立，则称随机变量 $F=\frac{U/n_1}{V/n_2}$ 服从自由度为 $(n_1,n_2)$ 的 $F$ 分布，记作 $F\sim F(n_1,n_2)$
  • 若 $F\sim F(n_1,n_2)$，则 $\frac{1}{F}\sim F(n_2,n_1)$
  • 若 $X\sim t(n)$，则 $X^2\sim F(1,n)$
  • $F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)}$

正态总体下的抽样分布

• 设 $X_1,X_2,\dots ,X_n$ 为来自正态总体 $N(\mu ,{\sigma }^2)$ 的简单随机样本，样本均值 $\overline{X}$，样本方差 $S^2$，则有
  • $\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$
  • $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
  • $\overline{X}$ 与 $S^2$ 相互独立
  • $\frac{\overline{X}-\mu }{S/\sqrt{n}}=\frac{\overline{X}-\mu }{\sqrt{{\sigma }^2/n}}/\sqrt{\frac{(n-1)S^2}{{\sigma }^2(n-1)}}\sim t(n-1)$
• 设 $X_1,X_2,\dots ,X_{n_1}$ 和 $Y_1,Y_2,\dots ,Y_{n_2}$ 分别为来自正态总体 $N({\mu }_1,{\sigma }_1^2)$ 和 $N({\mu }_2,{\sigma }_2^2)$ 的简单随机样本，样本均值 $\overline{X}$ 和 $\overline{Y}$，样本方差 $S_1^2$ 和 $S_2^2$，则有
  • $\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}=\frac{\frac{(n_1-1)S_1^2}{{\sigma }_1^2}/(n_1-1)}{\frac{(n_2-1)S_2^2}{{\sigma }_2^2}/(n_2-1)}\sim F(n_1-1,n_2-1)$
  • 当 ${\sigma }_1^2={\sigma }_2^2={\sigma }^2$ 时，$\overline{X}-\overline{Y}\sim N\left({\mu }_1-{\mu }_2,\frac{{\sigma }^2}{n_1}+\frac{{\sigma }^2}{n_2}\right)$，令 $U=\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }^2}{n_1}+\frac{{\sigma }^2}{n_2}}}\sim N(0,1)$ 和 $V=\frac{(n_1-1)S_1^2}{{\sigma }^2}+\frac{(n_2-1)S_2^2}{{\sigma }^2}\sim {\chi }^2(n_1+n_2-2)$，记 $S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$，则 $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}=\frac{U}{\sqrt{V/(n_1+n_2-2)}}\sim t(n_1+n_2-2)$

参数估计

矩估计

• 设 ${\theta }_1,{\theta }_2,\dots ,{\theta }_m$ 是总体 $X$ 的带估计参数，并假定 $X$ 的前 $m$ 阶矩存在，矩估计的步骤如下：
  • 求总体 $X$ 的前 $m$ 阶矩（不妨设是原点矩）${\mu }_1,{\mu }_2,\dots ,{\mu }_m$，一般地，这些矩可以写成待估计参数 ${\theta }_1,{\theta }_2,\dots ,{\theta }_m$ 的函数形式，记为 $\{\begin{array}{l}{\mu }_1=E(X)=g_1({\theta }_1,{\theta }_2,\dots ,{\theta }_m)\\ {\mu }_2=E(X^2)=g_2({\theta }_1,{\theta }_2,\dots ,{\theta }_m)\\ \cdots \cdots \\ {\mu }_m=E(X^m)=g_m({\theta }_1,{\theta }_2,\dots ,{\theta }_m)\end{array}$
  • 由上述方程组可以反解出 ${\theta }_1,{\theta }_2,\dots ,{\theta }_m$ 关于前 $m$ 阶矩的函数表达式，记为 $\{\begin{array}{l}{\theta }_1=h_1({\mu }_1,{\mu }_2,\dots ,{\mu }_m)\\ {\theta }_2=h_2({\mu }_1,{\mu }_2,\dots ,{\mu }_m)\\ \cdots \cdots \\ {\theta }_m=h_m({\mu }_1,{\mu }_2,\dots ,{\mu }_m)\end{array}$
  • 以原点矩 $A_i$ 代替 ${\mu }_i$，得到各个参数的点估计量 $\{\begin{array}{l}{\hat{\theta }}_1=h_1(A_1,A_2,\dots ,A_m)\\ {\hat{\theta }}_2=h_2(A_1,A_2,\dots ,A_m)\\ \cdots \cdots \\ {\hat{\theta }}_m=h_m(A_1,A_2,\dots ,A_m)\end{array}$
• 矩估计中也可以用部分总体中心距 ${\nu }_i$ 代替原点矩 ${\mu }_i$，用样本中心距 $B_i$ 代替原点矩 $A_i$

极大似然估计

• 似然函数 $L(\theta )$：
  • 设 $X$ 为离散型总体，其概率分布律为 P { X = x } = p ( x ; θ ) P\{X=x\}=p(x;\theta) P{X=x}=p(x;θ)，$\theta \in \Theta$ 是未知的待估参数，$\Theta$ 为参数空间，$X_1,X_2,\dots ,X_n$ 是来自总体 $X$ 的样本，设 $x_1,x_2,\dots ,x_n$ 是已经得到的样本值，则样本 $X_1,X_2,\dots ,X_n$ 取到值 $x_1,x_2,\dots ,x_n$ 的概率为 P { X 1 = x 1 , X 2 = x 2 , … , X n = x n } = ∏ i = 1 n P { X i = x i } = ∏ i = 1 n p ( x i ; θ ) P\{X_1=x_1,X_2=x_2,\dots,X_n=x_n\}=\displaystyle\prod_{i=1}^n{P\{X_i=x_i\}}=\displaystyle\prod_{i=1}^n{p(x_i;\theta)} P{X1​=x1​,X2​=x2​,…,Xn​=xn​}=i=1∏n​P{Xi​=xi​}=i=1∏n​p(xi​;θ)，记似然函数 $L(\theta )=L(\theta ;x_1,x_2,\dots ,x_n)=\prod _{i=1}^{n}p(x_i;\theta )$
  • 当 $X$ 为连续型总体时，设有密度函数 $f(x;\theta )$，$\theta \in \Theta$ 是未知的待估参数，$\Theta$ 为参数空间，$X_1,X_2,\dots ,X_n$ 是来自总体 $X$ 的样本，设 $x_1,x_2,\dots ,x_n$ 是已经得到的样本值，此时似然函数 $L(\theta )=L(\theta ;x_1,x_2,\dots ,x_n)=\prod _{i=1}^{n}f(x_i;\theta )$
• 极大似然估计寻求参数 $\theta$ 的估计值 $\hat{\theta }$，使得 $L(\theta )$ 取到极大值，即 $L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta ;x_1,x_2,\dots ,x_n)$，此时
  • $\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$ 称为极大似然估计值
  • 相应的统计量 $\hat{\theta }(X_1,X_2,\dots ,X_n)$ 称为极大似然估计量，简记为 $\mathrm{M}\mathrm{L}\mathrm{E}$
• 寻求极大似然估计常常采用微分方法：
  • 求解似然方程 ${\frac{\partial L(\theta )}{\partial \theta }|}_{\theta =\hat{\theta }}=0$
  • 为了计算方便，往往事先进行取对数操作，记 $l(\theta )=\ln L(\theta )$ 为对数似然函数
  • 此时求解对数似然方程 ${\frac{\partial l(\theta )}{\partial \theta }|}_{\theta =\hat{\theta }}={\frac{\partial \ln L(\theta )}{\partial \theta }|}_{\theta =\hat{\theta }}=0$
• 极大似然估计的不变性：设参数 $\theta$ 的极大似然估计为 $\hat{\theta }$，${\theta }^{\ast }=g(\theta )$ 是 $\theta$ 的连续函数，则参数 ${\theta }^{\ast }$ 的极大似然估计为 ${\hat{\theta }}^{\ast }=g(\hat{\theta })$

无偏性准则

• 设 $\theta \in \Theta$ 是总体 $X$ 的待估参数，$X_1,X_2,\dots ,X_n$ 是来自总体 $X$ 的样本，若估计量 $\hat{\theta }(X_1,X_2,\dots ,X_n)$ 的期望存在，且满足 $E(\hat{\theta })=\theta ,\forall \theta \in \Theta$，则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计
  • 若 $E(\hat{\theta })\ne \theta$，则称 $E(\hat{\theta })-\theta$ 为估计量 $\hat{\theta }$ 的偏差
  • 若 $E(\hat{\theta })\ne \theta$，但 $\underset{n\to +\infty }{\lim }E(\hat{\theta })=\theta$，则称 $\hat{\theta }$ 是 $\theta$ 的渐进无偏估计

有效性准则

• 设 ${\hat{\theta }}_1={\hat{\theta }}_1(X_1,X_2,\dots ,X_n)$ 与 ${\hat{\theta }}_2={\hat{\theta }}_2(X_1,X_2,\dots ,X_n)$ 都是参数 $\theta$ 的无偏估计，若 $\forall \theta \in \Theta$，有 ${\mathrm{V}\mathrm{a}\mathrm{r}}_{\theta }({\hat{\theta }}_1)\le {\mathrm{V}\mathrm{a}\mathrm{r}}_{\theta }({\hat{\theta }}_2)$，且至少有一个 $\theta$ 使不等号成立，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效

均方误差准则

• 设 $\hat{\theta }=\hat{\theta }(X_1,X_2,\dots ,X_n)$ 是参数 $\theta$ 的一般估计量，称 $E[(\hat{\theta }-\theta {)}^2]$ 是估计量 $\hat{\theta }$ 的均方误差，记作 $\mathrm{M}\mathrm{s}\mathrm{e}(\hat{\theta })=\mathrm{V}\mathrm{a}\mathrm{r}(\hat{\theta })+(E(\hat{\theta })-\theta {)}^2$
• 设 ${\hat{\theta }}_1$ 与 ${\hat{\theta }}_2$ 都是参数 $\theta$ 的估计量，若 $\forall \theta \in \Theta$，有 $\mathrm{M}\mathrm{s}\mathrm{e}({\hat{\theta }}_1)\le \mathrm{M}\mathrm{s}\mathrm{e}({\hat{\theta }}_2)$，且至少有一个 $\theta$ 使不等号成立，则称 ${\hat{\theta }}_1$ 优于 ${\hat{\theta }}_2$
• 若 $\hat{\theta }$ 是参数 $\theta$ 的无偏估计，即 $E(\hat{\theta })=\theta$，则 $\mathrm{M}\mathrm{s}\mathrm{e}(\hat{\theta })=\mathrm{V}\mathrm{a}\mathrm{r}(\hat{\theta })$
• 当用于无偏估计之间的比较时，均方误差准则等价于有效性准则

相合性准则

• 设 ${\hat{\theta }}_n=\hat{\theta }(X_1,X_2,\dots ,X_n)$ 是参数 $\theta$ 的一般估计量，若对于任意 $\epsilon >0$，有 lim ⁡ n → + ∞ P { ∣ θ ^ n − θ ∣ < ε } = 1 \displaystyle\lim_{n \to +\infty}{P\{|\hat\theta_n-\theta|<\varepsilon\}}=1 n→+∞lim​P{∣θ^n​−θ∣<ε}=1，即 ${\hat{\theta }}_n$ 依概率收敛于 $\theta$，则称 ${\hat{\theta }}_n$ 是 $\theta$ 的相合估计量，记作 ${\hat{\theta }}_n\stackrel{P}{\to }\theta$
• 一般地，矩估计得到的参数估计都满足相合性，极大似然估计在总体分布满足一定条件下求得的参数估计才是相合估计量

单个正态总体的参数区间估计

• 均值 $\mu$ 的置信区间（${\sigma }^2$ 已知）：
  • 常用 $\mu$ 的点估计为样本均值 $\overline{X}$，有 $\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$，即 $\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$
  • 取枢轴量 $G(X_1,X_2,\dots ,X_n;\mu )=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$
  • 设常数 $a<b$，且满足 $P\left\{a<\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}<b\right\}=P\left\{\overline{X}-b\frac{\sigma }{\sqrt{n}}<\mu <\overline{X}-a\frac{\sigma }{\sqrt{n}}\right\}=1-\alpha$
  • 区间平均长度 $L=(b-a)\frac{\sigma }{\sqrt{n}}$，根据正态分布对称性，令 $a=-b=-z_{\alpha /2}$ 使区间平均长度最短
  • 此时置信区间为 $\left(\overline{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2},\overline{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}\right)$，简记为 $\left(\overline{X}\pm \frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}\right)$
• 均值 $\mu$ 的置信区间（${\sigma }^2$ 未知）：
  • 考虑 ${\sigma }^2$ 的无偏估计 $S^2$，有 $\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$
  • 取枢轴量 $G(X_1,X_2,\dots ,X_n;\mu )=\frac{\overline{X}-\mu }{S/\sqrt{n}}$
  • 有 $P\left\{\left|\frac{\overline{X}-\mu }{S/\sqrt{n}}\right|<t_{\alpha /2}(n-1)\right\}=P\left\{\overline{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)<\mu <\overline{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\right\}=1-\alpha$
  • 根据 $t$ 分布对称性，置信区间取 $\left(\overline{X}\pm \frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\right)$
• 成对数据情形（不相互独立），均值差 ${\mu }_1-{\mu }_2$ 的置信区间：
  • 令 $D_i=X_i-Y_i$，则 $\overline{D}=\overline{X}-\overline{Y},S_D^2=\frac{1}{n-1}\sum _{i=1}^n(D_i-\overline{D}{)}^2$
  • ${\mu }_D$ 的置信区间取 $\left(\overline{D}\pm \frac{S_D}{\sqrt{n}}{t}_{\alpha /2}(n-1)\right)$
• 方差 ${\sigma }^2$ 的置信区间：
  • 考虑 $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
  • 取枢轴量 $G(X_1,X_2,\dots ,X_n;{\sigma }^2)=\frac{(n-1)S^2}{{\sigma }^2}$
  • 有 $P\left\{{\chi }_{1-\alpha /2}^2(n-1)<\frac{(n-1)S^2}{{\sigma }^2}<{\chi }_{\alpha /2}^2(n-1)\right\}=P\left\{\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)}<{\sigma }^2<\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}\right\}=1-\alpha$
  • ${\sigma }^2$ 的置信区间取 $\left(\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}\right)$
  • 由于 ${\chi }^2$ 分布的密度函数不对称，故上述置信区间不满足区间平均长度最短，但这样的解给实际应用带来方便

两个正态总体的参数区间估计

• 均值差 ${\mu }_1-{\mu }_2$ 的置信区间（${\sigma }^2$ 和 ${\sigma }_2^2$ 已知）：
  • 利用 ${\mu }_1-{\mu }_2$ 的无偏估计 $\overline{X}-\overline{Y}$，有 $\overline{X}-\overline{Y}\sim N\left({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{n}\right)$
  • ${\mu }_1-{\mu }_2$ 的置信区间取 $\left((\overline{X}-\overline{Y})\pm z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{n}}\right)$
• 均值差 ${\mu }_1-{\mu }_2$ 的置信区间（${\sigma }^2={\sigma }_2^2={\sigma }^2$，但未知）：
  • 利用 $S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$，有 $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$
  • ${\mu }_1-{\mu }_2$ 的置信区间取 $\left((\overline{X}-\overline{Y})\pm t_{\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}\right)$
• 方差比 $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的置信区间：
  • 利用 $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的点估计 $\frac{S_1^2}{S_2^2}$，有 $\frac{S_1^2}{S_2^2}/\frac{{\sigma }_1^2}{{\sigma }_2^2}=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$
  • $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的置信区间取 $\left(\frac{S_1^2/S_2^2}{F_{\alpha /2}(n_1+n_2-2)},\frac{S_1^2/S_2^2}{F_{1-\alpha /2}(n_1+n_2-2)}\right)$

假设检验

单个正态总体参数的假设检验

• 均值 $\mu$ 的假设检验（${\sigma }^2$ 已知），称为 $Z$ 检验：
  • 考虑双侧假设 $H_0:\mu ={\mu }_0,H_1:\mu \ne {\mu }_0$，取检验统计量为 $Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$，拒绝域 $W=\left\{|Z|=\left|\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}\right|\ge z_{\alpha /2}\right\}$
    • 对给定样本值 $x_1,x_2,\dots ,x_n$，检验统计量 $Z$ 的取值 $z_0=\frac{\overline{x}-{\mu }_0}{\sigma /\sqrt{n}}$，当 $|z_0|\ge z_{\alpha /2}$ 时，拒绝原假设
    • P − = P H 0 { ∣ Z ∣ ≥ ∣ z 0 ∣ } = 2 P H 0 { Z ≥ ∣ z 0 ∣ } = 2 − 2 Φ ( ∣ z 0 ∣ ) P_-=P_{H_0}\{|Z| \ge |z_0|\}=2P_{H_0}\{Z \ge |z_0|\}=2-2\Phi(|z_0|) P−​=PH0​​{∣Z∣≥∣z0​∣}=2PH0​​{Z≥∣z0​∣}=2−2Φ(∣z0​∣)，当 $P_{-}$ 值小于等于显著水平 $\alpha$ 时拒绝原假设
  • 考虑左侧假设 $H_0:\mu \ge {\mu }_0,H_1:\mu <{\mu }_0$，取检验统计量为 $Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$，拒绝域 $W=\left\{Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}\le c\right\}$
    • 犯第 I 类错误的概率 $\alpha (\mu ,c)=P\left\{\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}\le c|\mu \ge {\mu }_0\right\}$，由于 $Z$ 不服从标准正态分布，而是 $Z\sim N\left(\frac{\mu -{\mu }_0}{\sigma /\sqrt{n}},1\right)$，因此 $\alpha (\mu ,c)=\Phi \left(\frac{c-\frac{\mu -{\mu }_0}{\sigma /\sqrt{n}}}{1}\right)=\Phi \left(c-\frac{\mu -{\mu }_0}{\sigma /\sqrt{n}}\right),\mu \ge {\mu }_0$
    • 当取 $c=z_{1-\alpha /2}=-z_{\alpha }$ 时，犯第 II 类错误的概率最小，此时拒绝域 $W=\left\{Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}\le -z_{\alpha }\right\}$
    • P − = sup ⁡ μ ≥ μ 0 P { Z ≤ z 0 } = P { Z ≤ z 0 ∣ μ = μ 0 } = Φ ( z 0 ) P_-=\displaystyle\sup_{\mu \ge \mu_0}{P\{Z \leq z_0\}}=P\{Z \leq z_0 | \mu=\mu_0\}=\Phi(z_0) P−​=μ≥μ0​sup​P{Z≤z0​}=P{Z≤z0​∣μ=μ0​}=Φ(z0​)，当 $P_{-}$ 值小于等于显著水平 $\alpha$ 时拒绝原假设
  • 考虑右侧假设 $H_0:\mu \le {\mu }_0,H_1:\mu >{\mu }_0$，取检验统计量为 $Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$，类似得到拒绝域 $W=\left\{Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}\ge z_{\alpha }\right\}$
    • P − = sup ⁡ μ ≤ μ 0 P { Z ≥ z 0 } = P { Z ≥ z 0 ∣ μ = μ 0 } = 1 − Φ ( z 0 ) P_-=\displaystyle\sup_{\mu \leq \mu_0}{P\{Z \ge z_0\}}=P\{Z \ge z_0 | \mu=\mu_0\}=1-\Phi(z_0) P−​=μ≤μ0​sup​P{Z≥z0​}=P{Z≥z0​∣μ=μ0​}=1−Φ(z0​)，当 $P_{-}$ 值小于等于显著水平 $\alpha$ 时拒绝原假设
• 均值 $\mu$ 的假设检验（${\sigma }^2$ 未知），称为 $t$ 检验：
  • 利用样本方差 $S^2$ 代替总体方差 ${\sigma }^2$，取检验统计量 $T=\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}\sim t(n-1)$，对给定样本值 $x_1,x_2,\dots ,x_n$，检验统计量 $T$ 的取值 $t_0=\frac{\overline{x}-{\mu }_0}{\sigma /\sqrt{n}}$
  • 考虑双侧假设 $H_0:\mu ={\mu }_0,H_1:\mu \ne {\mu }_0$，拒绝域 $W=\left\{|T|=\left|\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}\right|\ge t_{\alpha /2}(n-1)\right\}$， P − = 2 P H 0 { t ( n − 1 ) ≥ ∣ t 0 ∣ } P_-=2P_{H_0}\{t(n-1) \ge |t_0|\} P−​=2PH0​​{t(n−1)≥∣t0​∣}
  • 考虑左侧假设 $H_0:\mu \ge {\mu }_0,H_1:\mu <{\mu }_0$，拒绝域 $W=\left\{T=\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}\le -t_{\alpha }(n-1)\right\}$， P − = sup ⁡ μ ≥ μ 0 P { T ≤ t 0 } = P { t ( n − 1 ) ≤ t 0 } P_-=\displaystyle\sup_{\mu \ge \mu_0}{P\{T \leq t_0\}}=P\{t(n-1) \leq t_0\} P−​=μ≥μ0​sup​P{T≤t0​}=P{t(n−1)≤t0​}
  • 考虑右侧假设 $H_0:\mu \le {\mu }_0,H_1:\mu >{\mu }_0$，拒绝域 $W=\left\{T=\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}\ge t_{\alpha }(n-1)\right\}$， P − = sup ⁡ μ ≤ μ 0 P { T ≥ t 0 } = P { t ( n − 1 ) ≥ t 0 } P_-=\displaystyle\sup_{\mu \leq \mu_0}{P\{T \ge t_0\}}=P\{t(n-1) \ge t_0\} P−​=μ≤μ0​sup​P{T≥t0​}=P{t(n−1)≥t0​}
• 方差 ${\sigma }^2$ 的假设检验，称为 ${\chi }^2$ 检验：
  • 利用 ${\sigma }^2$ 的无偏估计 $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$，有 $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$，取检验统计量 ${\chi }^2=\frac{(n-1)S^2}{{\sigma }_0^2}$，代入样本值后的检验统计量 ${\chi }_0^2=\frac{(n-1)s^2}{{\sigma }_0^2}$，记 p 0 = P H 0 { χ 2 ( n − 1 ) ≤ χ 0 2 } p_0=P_{H_0}\{\chi^2(n-1) \leq \chi_0^2\} p0​=PH0​​{χ2(n−1)≤χ02​}
  • 考虑双侧假设 $H_0:{\sigma }^2={\sigma }_0^2,H_1:{\sigma }^2\ne {\sigma }_0^2$，拒绝域 W = { χ 2 ≥ χ α / 2 2 ( n − 1 ) } ∪ { χ 2 ≤ χ 1 − α / 2 2 ( n − 1 ) } W=\{\chi^2 \ge \chi_{\alpha/2}^2(n-1)\} \cup \{\chi^2 \leq \chi_{1-\alpha/2}^2(n-1)\} W={χ2≥χα/22​(n−1)}∪{χ2≤χ1−α/22​(n−1)}，$P_{-}=2\min (p_0,1-p_0)$
  • 考虑左侧假设 $H_0:{\sigma }^2\ge {\sigma }_0^2,H_1:{\sigma }^2<{\sigma }_0^2$，拒绝域 W = { χ 2 ≤ χ 1 − α 2 ( n − 1 ) } W=\{\chi^2 \leq \chi_{1-\alpha}^2(n-1)\} W={χ2≤χ1−α2​(n−1)}，$P_{-}=p_0$
  • 考虑右侧假设 $H_0:{\sigma }^2\le {\sigma }_0^2,H_1:{\sigma }^2>{\sigma }_0^2$，拒绝域 W = { χ 2 ≥ χ α 2 ( n − 1 ) } W=\{\chi^2 \ge \chi_{\alpha}^2(n-1)\} W={χ2≥χα2​(n−1)}，$P_{-}=1-p_0$

两个正态总体参数的假设检验

• 均值差 ${\mu }_1-{\mu }_2$ 的假设检验（${\sigma }_1^2$ 和 ${\sigma }_2^2$ 已知）：
  • 检验统计量 $\overline{X}-\overline{Y}\sim N\left({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}\right)$
  • 考虑双侧假设 $H_0:{\mu }_1={\mu }_2,H_1:{\mu }_1\ne {\mu }_2$，当 $H_0$ 成立时 $\overline{X}-\overline{Y}\sim N\left(0,\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}\right)$，利用 $Z$ 检验，得到拒绝域 $W=\left\{\frac{|\overline{X}-\overline{Y}|}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\ge z_{\alpha /2}\right\}$， P − = P H 0 { ∣ Z ∣ ≥ ∣ z 0 ∣ } = 2 P H 0 { Z ≥ ∣ z 0 ∣ } = 2 − 2 Φ ( ∣ z 0 ∣ ) P_-=P_{H_0}\{|Z| \ge |z_0|\}=2P_{H_0}\{Z \ge |z_0|\}=2-2\Phi(|z_0|) P−​=PH0​​{∣Z∣≥∣z0​∣}=2PH0​​{Z≥∣z0​∣}=2−2Φ(∣z0​∣)
• 均值差 ${\mu }_1-{\mu }_2$ 的假设检验（${\sigma }_1^2={\sigma }_2^2={\sigma }^2$ 但未知），称为两样本精确 $t$ 检验：
  • 采用 ${\sigma }^2$ 的无偏估计 $S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
  • 考虑双侧假设 $H_0:{\mu }_1={\mu }_2,H_1:{\mu }_1\ne {\mu }_2$，取检验统计量 $T=\frac{\overline{X}-\overline{Y}}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$，当 $H_0$ 成立时 $T\sim t(n_1+n_2-2)$，得到拒绝域 W = { ∣ T ∣ ≥ t α / 2 ( n 1 + n 2 − 2 ) } W=\{|T| \ge t_{\alpha/2}(n_1+n_2-2)\} W={∣T∣≥tα/2​(n1​+n2​−2)}， P − = P H 0 { ∣ T ∣ ≥ ∣ t 0 ∣ } = 2 P H 0 { t ( n 1 + n 2 − 2 ) ≥ ∣ t 0 ∣ } P_-=P_{H_0}\{|T| \ge |t_0|\}=2P_{H_0}\{t(n_1+n_2-2) \ge |t_0|\} P−​=PH0​​{∣T∣≥∣t0​∣}=2PH0​​{t(n1​+n2​−2)≥∣t0​∣}
• 方差比 $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的假设检验：
  • 取检验统计量 $F=\frac{S_1^2}{S_2^2}$，记代入样本值后的检验统计量 $f_0=\frac{s_1^2}{s_2^2}$，设 p 0 = P H 0 { F ≤ f 0 } = P { F ( n 1 − 1 , n 2 − 1 ) ≤ f 0 } p_0=P_{H_0}\{F \leq f_0\}=P\{F(n_1-1,n_2-1) \leq f_0\} p0​=PH0​​{F≤f0​}=P{F(n1​−1,n2​−1)≤f0​}
  • 考虑双侧假设 $H_0:{\sigma }_1^2={\sigma }_2^2,H_1:{\sigma }_1^2\ne {\sigma }_2^2$，当 $H_0$ 成立时 $F\sim F(n_1-1,n_2-1)$，得到拒绝域 W = { F ≥ F α / 2 ( n 1 − 1 , n 2 − 1 ) } ∪ { F ≤ F 1 − α / 2 ( n 1 − 1 , n 2 − 1 ) } W=\{F \ge F_{\alpha/2}(n_1-1,n_2-1)\} \cup \{F \leq F_{1-\alpha/2}(n_1-1,n_2-1)\} W={F≥Fα/2​(n1​−1,n2​−1)}∪{F≤F1−α/2​(n1​−1,n2​−1)}，$P_{-}=2\min (p_0,1-p_0)$
  • 考虑左侧假设 $H_0:{\sigma }_1^2\ge {\sigma }_2^2,H_1:{\sigma }_1^2<{\sigma }_2^2$，$P_{-}=p_0$
  • 考虑右侧侧假设 $H_0:{\sigma }_1^2\le {\sigma }_2^2,H_1:{\sigma }_1^2>{\sigma }_2^2$，$P_{-}=1-p_0$