概率论学习笔记

概率论

第一章 随机事件和概率

第一节 事件的关系和运算

$A\subset B\Rightarrow A-B=A\bar{B}=\varnothing$
对偶率：$\overline{\underset{i=1}{\overset{n}{\cap }}{A}_i}=\underset{i=1}{\overset{n}{\cup }}\overline{A_i},\overline{\underset{i=1}{\overset{n}{\cup }}{A}_i}=\underset{i=1}{\overset{n}{\cap }}\overline{A_i}$

第二节 概率及公式

条件概率

$P(B|A)=\frac{P(AB)}{P(A)}$

独立

$P(AB)=P(A)P(B)即P(A|B)=P(A|\bar{B})$

容斥

$P(A\cup B)=P(A)+P(B)-P(AB)$
$P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

乘法

$P(AB)=P(A)P(B|A)$
$P(A_1{A}_2{A}_n)=P(A_1)P(A_2|A_1)\dots P(A_n|A_1{A}_2\dots A_{n-1})$

全概率公式

$P(A)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$

贝叶斯公式

$P(B_k|A)=\frac{P(B_k)P(A|B_k)}{\sum _{i=1}^{n}P(B_i)P(A|B_i)}$

古典概型和伯努利

$P(A)=\frac{n_A}{n}=\frac{A所包含的样点}{样本点总数}$

只有$A,\overline{A}$ ，称为伯努利试验，重复$n$次则为n重伯努利实验，$P(A)=p$ ，发生k次的概率为$P=C_n^k{p}^k(1-p{)}^{n-k}$

补充

$C_{n+1}^k=C_n^k+C_n^{k-1}$

n+1个数选k个 =当前数不选（后面选k-1）+当前数选（后面选k）

$C_{n+m}^k=\sum _{i=1}^k{C}_n^i\ast C_m^{k-i}$

n+m个数中选k个=从n个数中选i个*从m个数中选k-i个

第二章 随机变量及其概率分布

第一节 随机变量及其分布函数

$F(x)=P(X\le x)$

如果存在一个非负可积函数$f(x)$，使得任意$x$,都有$$F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t,-\infty <x<+\infty$$，则称X为连续随机变量f(x)为概率密度函数

第二节 常用分布

$0-1$分布

$E(X)=p,D(X)=p(1-p)$

二项分布（伯努利

$X\sim B(n,p)$
$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$
$E(X)=np,D(X)=np(1-p)$

超几何分布

$P(X=k)=\frac{C_N^k{C}_M^{n-k}}{C_{N+M}^n}$

几何分布

$P(X=k)=(1-p{)}^{k-1}p$
$E(X)=\frac{1}{p},D(X)=\frac{1-p}{p^2}$

泊松分布

$X\sim P(\lambda ),\lambda >0$
$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2,3,..$
$E(X)=\lambda ,D(X)=\lambda$
泊松定理：伯努利实验中$p_n$代表A在一次实验中出现的概率，它与实验总数$n$有关，随着$n$的增大，$p_n$在减小，如果$\underset{n\to \infty }{\lim }n{p}_n=\lambda \Rightarrow \underset{n\to \infty }{\lim }{C}_n^k{p}^k(1-p{)}^{n-k}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$

均匀分布

$X\sim [a,b]或者X\sim (a,b)$
$f(x)=\{\begin{array}{rlr}& \frac{1}{b-a},& a<x<b\\ & 0,& 其他\end{array}$
$F(x)=\{\begin{array}{rlr}& 0,& b\le x\\ & \frac{x-a}{b-a},& a\le x<b\\ & 1,& b\le x\end{array}$

$E(X)=\frac{a+b}{2},D(X)=\frac{(a-b{)}^2}{12}$

$\begin{array}{rl}E(X)& ={\int }_a^{b}x\ast \frac{1}{b-a}dx\\ & =\frac{\frac{x^2}{2}{|}_a^b}{b-a}=\frac{\frac{b^2-a^2}{2}}{b-a}\\ & =\frac{a+b}{2}\\ E(X^2)& ={\int }_a^b{x}^2\ast \frac{1}{b-a}dx\\ & =\frac{\frac{x^3}{3}{|}_a^b}{b-a}=\frac{\frac{b^3-a^3}{3}}{b-a}\\ & =\frac{a^2+b^2+ab}{3}\\ D(X)& =E(X^2)-E^2(X)\\ & =\frac{a^2+b^2+ab}{3}-(\frac{a+b}{2}{)}^2\\ & =\frac{(a-b{)}^2}{12}\end{array}$

指数分布

$X\sim E(\lambda )$
其中$\lambda >0$
$f(x)=\{\begin{array}{rlr}& \lambda e^{-\lambda x}& ,x>0\\ & 0& ,x\le 0\end{array}$
$F(x)=\{\begin{array}{rlr}& 1-e^{-\lambda x}& ,x>0\\ & 0& ,x\le 0\end{array}$

$E(X)=\frac{1}{\lambda },D(X)=\frac{1}{{\lambda }^2}$

$\begin{array}{rl}E(X)& ={\int }_0^{+\infty }x\ast \lambda e^{-\lambda x}dx\\ & =-x{e}^{-\lambda x}{|}_0^{+\infty }-\frac{e^{-\lambda x}}{\lambda }{|}_0^{+\infty }\\ & =\frac{1}{\lambda }\\ E(X^2)& ={\int }_0^{+\infty }{x}^2\ast \lambda e^{-\lambda x}dx\\ & =-x^2{e}^{-\lambda x}{|}_0^{+\infty }-\frac{2x{e}^{-\lambda x}}{\lambda }{|}_0^{+\infty }-\frac{2e^{-\lambda x}}{{\lambda }^2}{|}_0^{+\infty }\\ & =\frac{2}{{\lambda }^2}\\ D(X)& =E(X^2)-E^2(X)\\ & =\frac{2}{{\lambda }^2}-\frac{1}{{\lambda }^2}\\ & =\frac{1}{{\lambda }^2}\end{array}$

正态分布

$X\sim N(\mu ,{\sigma }^2)$
$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
$F(x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}t$

$E(X)=\mu ,D(X)={\sigma }^2$
$F(x)=\Phi (\frac{x-\mu }{\sigma })$
P { a < X ≤ b } = Φ ( b − μ σ ) − Φ ( a − μ σ ) P\{a<X\leq b\}=\Phi(\cfrac{b-\mu}{\sigma})-\Phi(\cfrac{a-\mu}{\sigma}) P{a<X≤b}=Φ(σb−μ​)−Φ(σa−μ​)

标准正态分布

令$\mu =0,\sigma =1$
$\phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$
$\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}\mathrm{d}t$

$E(X)=0,D(X)=1$

第三节 随机变量函数分布

$Y=g(X)$
X为离散型随机变量则Y也为离散型随机变量

X为连续性随机变量则Y也为连续性随机变量

• 公式法
  $y=g(x)$是单调函数，$h(y)$是其反函数
  $f_Y(y)=\{\begin{array}{rlr}& |h^{\prime }(y)|f_X(h(y)),& a<y<b\\ & 0,& 其他\end{array}$
• 定义法
  $F_Y(y)=P(Y\le y)=P(g(X)\le y)=\underset{g(x)\le y}{\int }{f}_X(x)\mathrm{d}x$
  然后$f_Y(y)=F_Y^{\prime }(y)$

第三章 多维随机变量及其分布

第一节 二维随机变量及其分布

二维连续性随机变量

$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)\mathrm{d}u\mathrm{d}v$
$F_X(x)=F(x,+\infty )=F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{+\infty }f(u,v)\mathrm{d}u\mathrm{d}v$
$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)},f_Y(y)>0$

第二节 随机变量的独立性

定义：
X 、 Y 相互独立 ⇔ 任意 x , y { P { X ≤ x , Y ≤ y } = P { X ≤ x } = P { Y ≤ y } F ( x , y ) = F X ( x ) F Y ( y ) X、Y相互独立 \Leftrightarrow 任意x,y\left\{\begin{aligned} &P\{X\leq x,Y\leq y\}=P\{X\leq x\}=P\{Y\leq y\}\\ &F(x,y)=F_X(x)F_Y(y)\\ \end{aligned}\right. X、Y相互独立⇔任意x,y{​P{X≤x,Y≤y}=P{X≤x}=P{Y≤y}F(x,y)=FX​(x)FY​(y)​

离散型随机变量 X 、 Y 相互独立 ⇔ P { X = x i , Y = y i } = P { X = x i } P { Y = y i } 即 p i j = p i p j 离散型随机变量X、Y相互独立 \Leftrightarrow P\{X= x_i,Y=y_i\}=P\{X= x_i\}P\{Y=y_i\} 即p_{ij}=p_ip_j 离散型随机变量X、Y相互独立⇔P{X=xi​,Y=yi​}=P{X=xi​}P{Y=yi​}即pij​=pi​pj​
$连续型随机变量X、Y相互独立\iff f(x,y)=f_X(x)f_Y(y)$

第三节 二维均匀分布和二维正态分布

二维均匀分布

$区域G的面积为A$
$f(x,y)=\{\begin{array}{rlr}& \frac{1}{A}& ,(x,y)\in G\\ & 0& ，其他\end{array}$

二维正态分布

$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$
$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$
$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}exp[-\frac{1}{(1-{\rho }^2)}(\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(y-{\mu }_2{)}^2}{2{\sigma }_2^2}+\frac{2\rho (x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2})]$

$exp(t)表示e^t$
$X、Y相互独立\iff \rho =0$

第四节 两个随机变量函数$Z=g(X,Y)$的分布

核心公式

F Z ( z ) = P { Z ≤ z } = P { g ( X , Y ) ≤ z } = ∬ g ( x , y ) ≤ z f ( x , y ) d x d y \begin{aligned} F_Z(z) &= P\{Z\leq z\}\\ &= P\{g(X,Y)\leq z\}\\ &=\iint \limits_{g(x,y)\leq z}f(x,y)\mathrm{d}x\mathrm{d}y\\ \end{aligned} FZ​(z)​=P{Z≤z}=P{g(X,Y)≤z}=g(x,y)≤z∬​f(x,y)dxdy​

$Z=X+Y$的分布

$\begin{array}{rl}{F}_Z(z)& =\underset{x+y\le z}{\iint }f(x,y)\mathrm{d}x\mathrm{d}y\\ & ={\int }_{-\infty }^{+\infty }\mathrm{d}x{\int }_{-\infty }^{z-x}f(x,y)\mathrm{d}y={\int }_{-\infty }^{+\infty }\mathrm{d}y{\int }_{-\infty }^{z-y}f(x,y)\mathrm{d}x\\ f_Z(z)& ={\int }_{-\infty }^{+\infty }f(x,z-x)\mathrm{d}x={\int }_{-\infty }^{+\infty }f(z-y,y)\mathrm{d}y\end{array}$
当$X$和$Y$相互独立时
$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)\mathrm{d}x={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)\mathrm{d}y$
称为卷积公式，记为$f_Z=f_X\ast f_Y$

$Z=\max (X,Y),\min (X,Y)$的计算

$Z=\max (X,Y)\le z\Rightarrow X\le z\bigcap Y\le z$
F Z ( z ) = P { Z ≤ z } = P { X ≤ z } P { Y ≤ z } = F X ( x ) F Y ( y ) \begin{aligned} F_Z(z) &=P\{Z\leq z\}\\ &=P\{X \leq z\}P\{Y \leq z\}\\ &=F_X(x)F_Y(y)\\ \end{aligned} FZ​(z)​=P{Z≤z}=P{X≤z}P{Y≤z}=FX​(x)FY​(y)​


$Z=\min (X,Y)\le z\Rightarrow X\le z\bigcup Y\le z$
F Z ( z ) = P { Z ≤ z } = F X ( x ) + F Y ( y ) − F X ( x ) F Y ( y ) \begin{aligned} F_Z(z) &=P\{Z\leq z\}\\ &=F_X(x)+F_Y(y)-F_X(x)F_Y(y)\\ \end{aligned} FZ​(z)​=P{Z≤z}=FX​(x)+FY​(y)−FX​(x)FY​(y)​
或者

$X\le z\bigcup Y\le z\Rightarrow Union-(X>z\bigcap Y>z)$
F Z ( z ) = P { Z ≤ z } = 1 − P { X > z } P { Y > z } = 1 − ( 1 − F X ( x ) ) ( 1 − F Y ( y ) ) = 同上 \begin{aligned} F_Z(z) &=P\{Z\leq z\}\\ &=1-P\{X > z\}P\{Y > z\}\\ &=1-(1-F_X(x))(1-F_Y(y))=同上\\ \end{aligned} FZ​(z)​=P{Z≤z}=1−P{X>z}P{Y>z}=1−(1−FX​(x))(1−FY​(y))=同上​

第四章 随机变量的数字特征

第一节 随机变量的数学期望和方差

期望

定义

连续型
$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$
$E(Y)=E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx$

性质

$E(aX+b)=aE(X)+b$
$E(X\pm Y)=E(X)\pm E(Y)$
$X,Y独立\Rightarrow E(XY)=E(X)E(Y)$

方差

定义

$D(X)=E\{[X-E(X){]}^2\}$
标准差（均方差）$\sigma (X)=\sqrt{D(X)}$

性质

$D(aX+b)=a^{2}D(X)$
$X,Y独立\Rightarrow D(X\pm Y)=D(X)\pm D(Y)$

$\begin{array}{rl}D(X)& =E\{[X-E(X){]}^2\}\\ & =E\{[X^2-2XE(X)+E^2(X)]\}\\ & =E(X^2)-2E[XE(X)]+E^2(X)\\ & =E(X^2)-2E^2(X)+E^2(X)\\ & =E(X^2)-E^2(X)\end{array}$
可得 $E(X^2)-E^2(X)\ge 0$

矩、协方差和相关系数

定义

$X的k阶原点矩：E(X^k)$
$X的k阶中心矩：E\{[X-E(X){]}^k\}$
$X和Y的k+l混合矩：E(X^k{Y}^l)$
$X和Y的k+l混合中心矩：E\{[X-E(X){]}^k[Y-E(Y){]}^l\}$
$协方差Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$

$相关系数{\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

性质

$Cov(X,Y)=E(XY)-E(X)E(Y)$
$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$
$Cov(aX,bY)=abCov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

$Cov(X,X)=E(X^2)-E(X)E(X)=D(X)$
$D(X)D(Y)=0\Rightarrow {\rho }_{XY}=0$
${\rho }_{XY}=0\Rightarrow X,Y不相关$
$|{\rho }_{XY}|=1\Rightarrow Y=aX+b$

独立与不相关

• $X,Y相互独立\Rightarrow X,Y不相关$
• $二维正态随机变量(X,Y),X、Y相互独立\iff \rho =0$
• $二维正态随机变量(X,Y),X、Y相互独立\iff X,Y不相关$

第五章 大数定律和中心极限定理

切比雪夫不等式

$E(X)和D(x)存在,对于任意的\epsilon >0,有$ P { ∣ X − E ( X ) ∣ ≥ ε } ≤ D ( X ) ε 2 P\{|X-E(X) |\geq \varepsilon \} \leq \cfrac{D(X)}{\varepsilon^2} P{∣X−E(X)∣≥ε}≤ε2D(X)​

收敛

$X_1,X_2,\dots ,X_n,\dots 是一个随机变量序列，A是一个常数，如果对于任意的\epsilon >0有$
lim ⁡ n → + ∞ P { ∣ X n − A ∣ < ε } = 1 \displaystyle \lim_{n\to+\infty} P\{ |X_n -A|<\varepsilon \}=1 n→+∞lim​P{∣Xn​−A∣<ε}=1 $则称X_1,X_2,\dots ,X_n,\dots \text{依概率收敛于常数}A,记作X_n\stackrel{P}{⟶}A$

切比雪夫大数定律

$X_1,X_2,\dots ,X_n,\dots 是一个两两不相关的随机变量序列，D(X_i)\le C(C是一个常数，i=1,2,\dots )，则对于任意的\epsilon >0有$
lim ⁡ n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E ( X i ) ∣ < ε } = 1 \displaystyle \lim_{n\to+\infty} P\{|\cfrac{1}{n}\sum^n_{i=1} X_i -\cfrac{1}{n}\sum^n_{i=1}E( X_i)|<\varepsilon \}=1 n→+∞lim​P{∣n1​i=1∑n​Xi​−n1​i=1∑n​E(Xi​)∣<ε}=1

伯努利大数定律

$X_n\sim B(n,p),n=1,2,...,则对于任意的\epsilon >0有$ lim ⁡ n → + ∞ P { ∣ X n n − p ∣ < ε } = 1 \displaystyle \lim_{n\to+\infty} P\{| \cfrac{X_n}{n} -p|<\varepsilon \}=1 n→+∞lim​P{∣nXn​​−p∣<ε}=1

辛钦大数定律

$X_1,X_2,\dots ,X_n,\dots 是独立同分布，E(X_i)\le \mu (i=1,2,\dots )，则对于任意的\epsilon >0有$
lim ⁡ n → + ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ε } = 1 \displaystyle \lim_{n\to+\infty} P\{|\cfrac{1}{n}\sum^n_{i=1} X_i - \mu|<\varepsilon \}=1 n→+∞lim​P{∣n1​i=1∑n​Xi​−μ∣<ε}=1

棣莫弗-拉普拉斯中心极限定理

$X\sim B(n,p),则$
lim ⁡ n → + ∞ P { X n − n p n p ( 1 − p ) ≤ x } = Φ ( x ) \displaystyle \lim_{n\to+\infty} P\{ \cfrac{X_n-np}{\sqrt{np(1-p)}} \leq x \}=\Phi (x) n→+∞lim​P{np(1−p) ​Xn​−np​≤x}=Φ(x) $,\Phi (x)是正态分布函数$

列维-林德伯格中心极限定理

$X_1,X_2,\dots ,X_n,\dots 是独立同分布，E(X_i)=\mu ,D(X_i)={\sigma }^2(i=1,2,\dots )，则对于任意的\epsilon >0有$
lim ⁡ n → + ∞ P { ∑ i = 1 n X i − n μ n σ ≤ x } = Φ ( x ) \displaystyle \lim_{n\to+\infty} P\{ \cfrac{\displaystyle\sum^n_{i=1} X_i-n\mu}{\sqrt{n}\sigma} \leq x \}=\Phi (x) n→+∞lim​P{n ​σi=1∑n​Xi​−nμ​≤x}=Φ(x) $,\Phi (x)是正态分布函数$

第六章 数理统计的基本概念

第一节 总体、样本、统计量和样本数字特征

$f_n(x_1,x_2,...,x_n)=\prod _i^{n}f(x_i)$

样本

1. 样本均值 $\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$
2. 样本方差 $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$
   $D(\overline{X})=\frac{1}{n}D(X)$

$\begin{array}{rl}(n-1)D(X)& =nD(X)-D(X)\\ & =nD(X)-nD(\overline{X})\\ & =[\sum _{i=1}^n{X}_i^2-n{E}^2(X)]-[\sum _{i=1}^n\overline{X}-n{E}^2({\overline{X}}^2)]\\ & =\sum _{i=1}^n{X}_i^2-\sum _{i=1}^n{\overline{X}}^2\\ & =\sum _{i=1}^n{X}_i^2-2\sum _{i=1}^n{X}_i^2{\overline{X}}^2+\sum _{i=1}^n{\overline{X}}^2\\ & =\sum _{i=1}^n(X_i-\overline{X}{)}^2\end{array}$
即$D(X)=\frac{\sum _{i=1}^n(X_i-\overline{X}{)}^2}{n-1}$

3. 样本$k$阶原点矩 $A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,A_1=\overline{X}$
4. 样本$k$阶中心矩 $B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^k,B_2=\frac{n-1}{n}{S}^2$

第二节 常用统计抽样分布

${\chi }^2$分布

定义
$自由度为n的{\chi }^2分布:$
${\chi }^2\sim {\chi }^2(n)$
${\chi }^2=\sum _{i=1}^n{X}_i^2,X_i\sim N(0,1)且相互独立$
性质

1. P { χ 2 > χ α 2 ( n ) } = ∫ χ α 2 ( n ) + ∞ f ( x ) d x = α P\{\chi^2>\chi^2_\alpha(n) \}=\displaystyle\int_{\chi^2_\alpha(n)}^{+\infty}f(x)dx=\alpha P{χ2>χα2​(n)}=∫χα2​(n)+∞​f(x)dx=α
2. $E({\chi }^2)=n,D({\chi }^2)=2n$

助记
${\chi }^2(n)\sim (n,2n)$

t分布

定义
$自由度为n的t分布:$
$T\sim t(n)$
$X\sim N(0,1),Y\sim {\chi }^2(n),X、Y独立$
$T=\frac{X}{\sqrt{\frac{Y}{n}}}$

性质

1. $f(x)=f(-x),n够大时，趋近于N(0,1)$
2. P { T > t α ( n ) } = ∫ t α ( n ) + ∞ f ( x ) d x = α P\{T>t_\alpha(n) \}=\displaystyle\int_{t_\alpha(n)}^{+\infty}f(x)dx=\alpha P{T>tα​(n)}=∫tα​(n)+∞​f(x)dx=α
3. $t_{\alpha }(n)=-t_{1-\alpha }$ 待续
4. P { ∣ T ∣ > t α 2 ( n ) } = α P\{|T|>t_{\frac{\alpha}{2}}(n)\}=\alpha P{∣T∣>t2α​​(n)}=α

助记
$t(n)\sim \frac{(0,1)}{\sqrt{(1,\frac{1}{n})}}$

F分布

定义
$自由度为(n_1,n_2)的F分布:$
$F\sim F(n_1,n_2)$
$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2),X、Y独立$
$F=\frac{\frac{X}{n_1}}{\frac{Y}{n_2}}$

性质

1. P { F > F α ( n 1 , n 2 ) } = ∫ F α ( n 1 , n 2 ) + ∞ f ( x ) d x = α P\{F>F_\alpha(n_1,n_2) \}=\displaystyle\int_{F_\alpha(n_1,n_2)}^{+\infty}f(x)dx=\alpha P{F>Fα​(n1​,n2​)}=∫Fα​(n1​,n2​)+∞​f(x)dx=α
2. $\frac{1}{F}\sim F(n_2,n_1)$
3. $F_{\alpha }(n_1,n_2)\sim \frac{1}{F_{1-\alpha }(n_2,n_1)}$

助记
$F(n)\sim \frac{(1,\frac{1}{n_1})}{(1,\frac{1}{n_2})}$

正态总体的抽样分布

一个正态总体

$X_i\sim N(\mu ,{\sigma }^2)$
$均值\overline{X}，样本方差S^2$

1. $\overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n}),U=\frac{\overline{X}-\mu }{{\sigma }^2}\sim N(0,1)$
2. $\overline{X}和S^2相互独立，{\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}=\frac{\sum _{i=1}^n(X_i-\overline{X}{)}^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
3. $T=\frac{\overline{X}-\mu }{\frac{S}{\sqrt{n}}}\sim t(n-1)$
4. ${\chi }^2=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}\sim {\chi }^2(n)$

两个正态总体

$X_i\sim N({\mu }_1,{\sigma }_1^2),Y_j\sim N({\mu }_2,{\sigma }_2^2),1\le i\le n_1,1\le j\le n_2$
$均值\overline{X}和\overline{Y}，样本方差S_1^2和S_2^2$

1. $\overline{X}-\overline{Y}\sim N({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2})$
   $U=\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$
2. 如果${\sigma }_1^2={\sigma }_2^2$则
   $\{\begin{array}{rl}& T=\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)\\ & S_w=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}\end{array}$
3. $F=\frac{\frac{S_1^2}{{\sigma }_1^2}}{\frac{S_2^2}{{\sigma }_2^2}}\sim F(n_1-1,n_2-1)$

第七章 参数估计

第一节 点估计

$未知参数\theta ，\hat{\theta }(X_1,X_2,\dots ,X_n)称为\text{估计量}$
$若E(\hat{\theta })=\theta ，\hat{\theta }是\theta 的\text{无偏估计量}$
$\{\begin{array}{rl}& E({\hat{\theta }}_1)=E({\hat{\theta }}_2)=\theta \\ & D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)\end{array}\Rightarrow {\hat{\theta }}_1比{\hat{\theta }}_2\text{更有效}$

$如果\hat{\theta }(X_1,X_2,\dots ,X_n)依概率收敛于\theta ，则称\hat{\theta }是\theta 的\text{一致估计量}$

第二节 估计量的求法和区间估计

矩估计法

定义：用样本矩估计相应的总体矩，用样本矩的函数估计总体矩相应的函数，然后求出要估计的参数
步骤：设总体X的分布含有未知参数$\theta_1,\theta_2,\dots,\theta _k,\alpha _k = E(X^l) $ 存在, ${\alpha }_l是关于{\theta }_1,{\theta }_2,\dots ,{\theta }_k$ 的函数，记作 ${\alpha }_l({\theta }_1,{\theta }_2,\dots ,{\theta }_k),l=1,2,\dots ,k$ 。样本的$l$阶原点矩为$A_l=\frac{\sum _{i=1}^n{X}_i^l}{n}。$令${\alpha }_l({\theta }_1,{\theta }_2,\dots ,{\theta }_k)=A_l,l=1,2,\dots ,k\Rightarrow$ 可以解得${\theta }_1,{\theta }_2,\dots ,{\theta }_k$

设$g(a_1,a_2)$是一阶矩$a_1$和二阶矩$a_2$的函数，而${\hat{a}}_1、{\hat{a}}_2是a_1、a_2$的矩估计，则$g({\hat{a}}_1,{\hat{a}}_2)$就是$g(a_1,a_2)$的矩估计

最大似然估计法

$X_i是X的样本，x_i是样本值，\theta 是代估函数$
参数$\theta$的似然函数
离散型：$L(\theta )=L(x_1,x_2,\dots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$
连续型：$L(\theta )=L(x_1,x_2,\dots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$

最大似然估计法
定义
对于给定的样本$(x_1,x_2,\dots ,x_n)$,使似然函数$L(x_1,x_2,\dots ,x_n;\theta )$达到最大值的参数$\hat{\theta }=\hat{\theta }(x_1,x2,\dots ,x_n)$ 称为未知参数$\theta$的最大似然估计值，相应的使似然函数$L(X_1,X_2,\dots ,X_n;\theta )$达到最大值的参数值$\hat{\theta }=\hat{\theta }(X_1,X_2,\dots ,X_n)$称为$\theta$的最大似然估计量。统称为$\theta$的最大似然估计
步骤
求$\hat{\theta }$，可用似然方程$$\frac{\mathrm{d}L(\theta )}{\mathrm{d}\theta }=0或\frac{\mathrm{d}\ln L(\theta )}{\mathrm{d}\theta }=0$$

假设要估计的参数是${\theta }_1与{\theta }_2$，则可得似然方程
$$\{\begin{array}{rl}& \frac{\partial L(\theta )}{\partial {\theta }_1}=0\\ & \frac{\partial L(\theta )}{\partial {\theta }_2}=0\end{array}或\{\begin{array}{rl}& \frac{\partial \ln L(\theta )}{\partial {\theta }_1}=0\\ & \frac{\partial \ln L(\theta )}{\partial {\theta }_2}=0\end{array}$$

第八章

常用公式

${\int }_0^{+\infty }{x}^n{e}^{-x}dx=n!$

${\int }_0^{+\infty }{e}^{-\frac{x^2}{2}}dx=\frac{\sqrt{\pi }}{\sqrt{2}},{\int }_0^{+\infty }x{e}^{-\frac{x^2}{2}}dx=1$

${\int }_0^{+\infty }tx{e}^{-tx}dx=1$

$\sum _{i=1}^n(X_i-\overline{X}{)}^2=\sum _{i=1}^n{X}_i^2-\sum _{i=1}^n{\overline{X}}^2=\sum _{i=1}^n{X}_i^2-n{\overline{X}}^2$
$\sum _{i=1}^n(X_i-\overline{X}{)}^2=\sum _{i=1}^n(X_i-\mu {)}^2-n(\overline{X}-\mu {)}^2$
$(n-1)S^2\sim \sum _{i=1}^n(X_i-\overline{X}{)}^2\sim {\chi }^2(n-1)$
$n\frac{(\overline{X}-\mu {)}^2}{{\sigma }^2}\sim {\chi }^2(1)$

易混点

独立$\Rightarrow$不相关，相关$\Rightarrow$不独立