第一章 概率论基础知识

第一章 概率论基础知识

• 机会性游戏：随即发生器（投硬币，掷骰子）

• 基本的统计方法：估计和检验

1.1 样本空间与随机事件

• 随机试验：

  • 定义（三条件）：
    1. 可重复
    2. 结果不止一个，可知一切结果
    3. 试验前不知结果，试验后可知结果
  • 案例一 选驸马（“37%”规则）
    • 目标函数：选到$best$的概率
    • 选择方法：将前$k$个人作为样本，选出$[1,k]$中的$maxn$，从$k+1$开始若有$a_i>maxn$，便直接选择$i$.
    • 思考计算：
      1. 若$best$在位置$i(i>k)$，则其被选中$⟺[1,i-1]$中的$best$在$[1,k]$中，即$p(i)=\frac{k}{i-1}$.
      2. 故$ans=\frac{1}{n}\sum _{i=k+1}^n\frac{k}{i-1}=-\frac{k}{n}\ln (\frac{k}{n})$.
      3. 求导得，当$\frac{k}{n}=\frac{1}{e}=0.37$时最优。
  • 案例二 检测化验问题：期望
  • 案例三 赌博问题：概率论的诞生（帕斯卡：概率法，高斯：最大似然法）

• 概率：某随机事件$A$发生的可能性大小$P(A)$

• 映射方式	自变量归属	研究什么
  $f(x)=ax+b$	$x\in R$	极限下的积分学和微分学
  $T(\vec{x})=A_{m\times n}{\vec{X}}_{n\times 1}$	$\vec{x}\in R^n$	线性空间的线性映射
  $P(x)$	$x\subset \Omega$	表示某随机事件$x$发生的可能性大小的集合函数

• 基本概念：

  1. 样本空间$\Omega$：一个集合（不一定是实空间）

  2. 样本点：一个元素（三种表示方法：列举法，描述法，图像法）

  3. 随机事件：一个子集（只关心某些结果）

  4. 关系及运算：

     • 包含，相等，和（并），积（交）

     • 差（$A-B$）：$A$发生而$B$不发生

       $(A-B)\bigcup (B-A)=A\Delta B$

     • 互斥（互不相容）：$AB=\varnothing$

     • 互逆（互为对立）：$AB=\varnothing 且A\bigcup B=\Omega ,B=\bar{A}$

     • 德摩根公式：

       • 至少有一个发生的对立事件是都不发生：$\overline{A\bigcup B}=\overline{A}\bigcap \overline{B}$
       • 每一个都发生的对立事件是至少有一个不发生：$\overline{A\bigcap B}=\overline{A}\bigcup \overline{B}$

     • 完备事件组（有限划分）：$\forall i,j(i\ne j),A_i{A}_j=\varnothing 且\bigcup _{i=1}^n{A}_i=\Omega$

       对于事件 $B$：

       • $B=\sum _{i=1}^{n}B{A}_i$
       • 全概率公式：当$B{A}_i\bigcap B{A}_j=\varnothing$ 时，$P(B)=\sum _{i=1}^{n}P(B{A}_i)$ （互斥事件和的概率等于概率的和）

     • 注意：

       $P(A\bigcup B)\ne P(A)+P(B)$，当$A\bigcap B=\varnothing$ 时成立

       $P(A\bigcap B)=P(A)P(B)$，当$A,B$ 相互独立时成立，否则即条件概率$P(A\bigcap B)=P(A)P(B|A)$

  5. 性质：

     • 交换律，结合律，分配律
     • 对偶律（德摩根定律）：$\overline{\bigcup _i{A}_i}=\bigcap _i\overline{A_i}$，$\overline{\bigcap _i{A}_i}=\bigcup _i\overline{A_i}$

1.2 事件发生的概率

• 频率定义： $f_n(A)=\frac{\#(A)}{n}=\frac{\sum _{i=1}^{n}I(w_i\in A)}{n}=\frac{k}{n},I(A)=\{\begin{array}{l}1,w_i\in A\\ 0,w_i\in \overline{A}\end{array}$

• 概率$P(A)$公理化定义：（苏联-柯尔莫哥洛夫-1933年提出）

  1. 非负性：$0\le P(A)\le 1$

  2. 规范性：$P(\Omega )=1$

  3. 可列可加性：两两不相容事件$A_i$：$P(\bigcup _{i-1}^{\infty }{A}_i)=\sum _{i-1}^{\infty }P(A_i)$

     注意：$P(A)=0$ 时，$A\ne \varnothing$ 零概率事件（不可能事件）不一定为空集

• 概率性质：

  • $P(\varnothing )=0,P(\Omega )=1$，$P(\bar{A})=1-P(A)$，$P(A-B)=P(A)-P(AB)$，$0\le P(A)\le 1$

  • 有限可加性：若事件$A_i$两两互斥，$P(\bigcup _{i-1}^n{A}_i)=\sum _{i-1}^{n}P(A_i)$

  • 概率的并：$P(A\bigcup B)=P(A)+P(B)-P(AB)$

  • 概率的其他表达：$\{\begin{array}{l}P(A-B+AB)=P(A)\because A-B+AB=A\\ P(A-B)+P(AB)=P(A)\because (A-B)\bigcap AB=\varnothing \end{array}$

    $\therefore P(A)=P(AB)+P(A-B)=P(AB)+P(A-AB)$

  • 集合的差：$A-B=A\bar{B}$

  • 集合的并：$A\bigcup B=A+(B-A),A\bigcup B\bigcup C=A+(B-A)+(C-(A+B))$，故 $\bigcup _{i=1}^n{A}_i=\sum _{i=1}^n(A_i-\sum _{j=1}^{i-1}{A}_j)$

1.3 等可能模型

1.3.1 古典概型

• 定义：$P(A)=\frac{\#(A)}{\#(\Omega )}=\frac{k}{n}$

  1. 样本空间是有限集
  2. 每个样本点出现的可能性相同

• 计算方法：排列与组合

  • 摸球模型：一共 $N$ 个球，$m$ 个红球，$N-m$ 个白球，随机摸球 $n$ 次，计算恰好摸到 $k$ 个红球的概率

    1. 有放回（二项分布）：
       $$p=\frac{C_m^k{m}^k(N-m{)}^{n-k}}{N^n}$$

    2. 无放回（超几何分布）：
       $$p=\frac{C_m^k{C}_{N-m}^{n-k}}{C_N^n}$$

  • 抽签模型（与放回无关）：一共 $N$ 个球，$m$ 个红球，$N-m$ 个白球，依次全部摸出，摸出后无法立即知晓结果（最后统一揭晓），求第 $k$ 次取出红球的概率

    1. 有放回：$p=\frac{m}{N}$
    2. 无放回：
       • 法1：将N个球看作不同，$p=\frac{m(N-1)!}{N!}=\frac{m}{N}$
       • 法2：看作除颜色外无区别，$p=\frac{C_{N-1}^{m-1}}{C_N^m}=\frac{m}{N}$

  例：$甲有n+1枚硬币，乙有n枚硬币，双方全部掷出后比较，求甲正面的数量比乙正面的数量多的概率$

  解：
  设P(A)={甲正>乙正}则P(Aˉ)={甲正≤乙正}={n+1−甲反≤n−乙反}={甲反>乙反}∵P(Aˉ)=P(A)∴P(A)=12 设P(A)=\{甲_正>乙_正\}\\ 则P(\bar{A})=\{甲_正\le乙_正\}=\{n+1-甲_反\le n-乙_反\}=\{甲_反>乙_反\}\\ \because P(\bar{A})=P(A) \therefore P(A)=\dfrac{1}{2} 设P(A)={甲正​>乙正​}则P(Aˉ)={甲正​≤乙正​}={n+1−甲反​≤n−乙反​}={甲反​>乙反​}∵P(Aˉ)=P(A)∴P(A)=21​

1.3.2 几何概型

从有限样本空间推广到无限样本空间

• 定义：$P(A)=\frac{m(A)}{m(\Omega )}$，其中$\Omega$为一般的欧氏区域（可多维）

• 性质：

  • 非负性，规范性，可列可加性

    例：考虑$(0,1)$上随机投点，$B$表示点落在$(0,\frac{1}{2})$，$A_n$表示点落在$[\frac{1}{2^n+1},\frac{1}{2^n})$。于是$P(B)=P(\sum _{n=1}^{\infty }{A}_n)$

  • 零概率事件不一定不发生

    例：落在线上

• 会面问题：甲乙两人相约见面，并约定第一人到达后，等$15$分钟不见第二人来就可以离去。假设他们都在$10$点至$10$点半的任一时间来到见面地点，则两人能见面的概率有多大？

  答：$75\%$，画二维图即可

• 蒲丰（投针）问题：平面上有等距离的平行线，平行线的距离为$a(a>0)$，向平面任意掷一枚长$l(l<a)$的针，试求针与平行线相交的概率

  解：
  
  x表示针的中点与最近的一条平行线的距离.Ω={(ϕ,x)∣0≤x≤a2,0≤ϕ≤x}g={(ϕ,x)∣x≤l2sin⁡ϕ,(ϕ,x)∈Ω}P(A)=S(g)S(Ω)=∫0πl2sin⁡ϕ  dϕa2π=2laπ. \color{red}x表示针的中点与最近的一条平行线的距离.\\ \Omega=\{(\phi,x)|0\le x\le\dfrac{a}{2},0\le\phi\le x \}\\ g=\{(\phi,x)|x\le\dfrac{l}{2}\sin\phi,(\phi,x)\in\Omega \}\\ P(A)=\dfrac{S(g)}{S(\Omega)}=\dfrac{\int_0^\pi\dfrac{l}{2}\sin\phi\;d\phi}{\dfrac{a}{2}\pi}=\dfrac{2l}{a\pi}. x表示针的中点与最近的一条平行线的距离.Ω={(ϕ,x)∣0≤x≤2a​,0≤ϕ≤x}g={(ϕ,x)∣x≤2l​sinϕ,(ϕ,x)∈Ω}P(A)=S(Ω)S(g)​=2a​π∫0π​2l​sinϕdϕ​=aπ2l​.

1.4 条件概率

• 定义：$A,B$两事件，$P(B)>0$，称$P(A|B)=\frac{P(AB)}{P(B)}$为$B$发生的条件下$A$发生的概率。

• 性质：

  • $0\le P(A|B)\le 1$，$P(B|A)=1-P(\bar{B}|A)$

  • $P(\Omega |A)=1$，$P(A)=P(A\Omega )=P(AB)+P(A\bar{B})$

  • 任意$i\ne j,A_i{A}_j=\varnothing$(两两互斥)，则$P(\bigcup _{i=1}^n|B)=\sum _{i=1}^{n}P(A_i|B)$

  • 乘法公式：$P(AB)=P(A)P(B|A)=P(B)P(A|B)$，其中$P(A)>0,P(B)>0$

    一般情形：$P(A_1{A}_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)...P(A_n|A_1{A}_2...A_{n-1})$

  事件独立$P(AB)=P(A)\cdot P(B)$：不是指交集为空，是指$A$发生对$B$发生无影响

例：$$\begin{gathered} 依次请甲,乙,丙三个同学回答一个问题,若前面的答对则停止,答错则由后面的回答.又知他们依次答对的概率分别为:0.4,0.6,0.8. \\ (1)求问题是由乙答出的概率(2)求问题是由丙答出的概率 \end{gathered}$$

解：
$$\begin{gathered} 设A,B,C分别表示问题由甲，乙，丙答出 \\ (1)P(B)=P(\bar{A}B)+P(AB)=P(\bar{A}B)+\varnothing =P(\bar{A})P(B|\bar{A})=0.6\cdot 0.6=0.36 \\ (2)P(C)=P(\bar{A}\bar{B}C)=P(\bar{A})P(\bar{B}|\bar{A})P(C|\bar{A}\bar{B})=0.6\cdot 0.4\cdot 0.8=0.192 \end{gathered}$$

• 全概率公式与贝叶斯(Bayes)公式：对于完备事件组$A_i$，任一事件$B$

  • 全概率公式：
    $$P(B)=P(B\bigcap \Omega )=\sum _{i=1}^{n}P(B{A}_i)=\sum _{i=1}^{n}P(A_i)P(B|A_i).$$

  • 贝叶斯公式：
    $$P(A_i|B)=\frac{P(A_{i}B)}{P(B)}=\frac{P(A_i)P(B|A_i)}{\sum _{i=1}^{n}P(A_i)P(B|A_i)}$$

    • 本质：计算条件概率
    • 先验概率$P(A_i)$——统计可知；后验概率$P(A_i|B)$——样本计算
    • 决策规则：通过比较不同的$P(A_i|B)$可以进行决策，例max⁡i{P(Ai∣B),i=1,2,...,n}\max\limits_i\{P(A_i|B),i=1,2,...,n\}imax​{P(Ai​∣B),i=1,2,...,n}

例：

解：
$$\begin{gathered} (1)A_i表明事件从甲取出2件中有i件次品放到乙中 \\ 则P(R)=\sum _{i=0}^{2}P(A_i)P(B|A_i)=\sum _{i=0}^2\frac{C_5^i{C}_{10}^{2-i}}{C_{15}^2}\cdot \frac{C_{3+i}^1}{C_{17}^2}=\frac{11}{51} \\ (2)C表示事件两物品“一正一次”,C=\overline{C_1}{C}_2+C_1\overline{C_2} \\ P(X)=\frac{1}{2}P(c)=\frac{1}{2}\left(\frac{C_5^1{C}_{10}^1}{C_{15}^2}+\frac{C_3^1{C}_{12}^1}{C_{15}^2}\right) \\ \because P(甲\overline{C_1})\ne P(乙\overline{C_1})，后验概率不同\therefore 需要分母分子分开算分别取两个箱子 \\ P(Y)=P(C_1|\overline{C_2})=\frac{P(C_1\overline{C_2})}{P(\overline{C_2})}=\frac{P(C_1\overline{C_2})}{P(\overline{C_1})}=\frac{\frac{1}{2}(\frac{10}{15}\cdot \frac{5}{14})+\frac{1}{2}(\frac{12}{15}\cdot \frac{3}{14})}{\frac{1}{2}\frac{5}{15}+\frac{1}{2}\frac{3}{15}}=0.7679 \end{gathered}$$

1.5 独立性与伯努利概型

1.5.1 独立性

• 定义：若 $P(AB)=P(A)P(B)$，则称事件 $A,B$ 相互独立。($A$ 发生对 $B$ 发生的概率无影响)

  本质：帮助简化乘积的概率

  • 推广：若$A,B$ 独立的前提下：

    • 若$P(A)>0$， $⟺P(B|A)=P(B)$

    • $A与\bar{B}$，$\bar{A}与\bar{B},B$ 都独立。

      证明：$P(A\bar{B})=P(A-AB)=P(A)-P(AB)=P(A)(1-P(B))=P(A)P(\bar{B})$

• 两两独立与相互独立：

  • 两两独立：对于$\forall i,j$，$P(A_i{A}_j)=P(A_i)P(A_j)$.

  • 相互独立：对于$\forall k个A_i(2\le k\le n)$，$P(A_i{A}_j...A_k)=P(A_i)P(A_j)...P(A_k)$.

    若相互独立，一定两两独立，反之不然。

• 对 重复独立的试验中，小概率事件必然发生 的理解：

  设$P(A_i)=\xi \to 0^{+}$，
  $$P(\bigcup _{i=1}^n{A}_i)=1-P(\overline{\bigcup _{i=1}^n{A}_i})=1-P(\bigcap _{i=1}^n\overline{A_i})=1-\prod _{i=1}^{n}P(\overline{A_i})=1-(1-\xi {)}^n\to 1$$

• 电路应用：电路中 $n$ 个元件连接，每个元件的可靠性为 $r$

  • 串联时：$p(串)=r^n$. 并联时：$p(并)=1-(1-r{)}^n$

  • $$p=p(中间坏)+p(中间好)=(1-r)(1-(1-r^2{)}^2)+r(1-(1-r{)}^2{)}^2$$
    

1.5.2 伯努利模型

• 定义：$n$重独立实验中，只有两个实验结果“成功”($A$)与“失败”($\bar{A}$)。计算 $A$ 出现 $k$ 次的概率，称为二项分布 $X\sim B(n,p)$ ——有放回抽样。
  $$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,...,n$$
  例： 某病的自然痊愈率为 0.25，某医生为检验某种新药是否有效，他事先制定了一个决策规则：把这药给 10 个病人服用，如果这 10 病人中至少有4 个人痊愈，则认为新药有效；反之，则认为新药无效．求：

  ⑴ 新药有效，并且把痊愈率提高到 0.35，但通过试验却被否定的概率．

  ⑵新药完全无效，但通过试验却被判为有效的概率．

  解：
  $$\begin{gathered} (1)找前提：X\sim B(10,0,35).求P(X\le 3) \\ (2)X\sim B(10,0,25).求P(X\ge 4) \end{gathered}$$

• 多概率公式：$n$ 重独立试验中，每次实验可能的结果为$A_1,A_2,...,A_k$，且$P(A_i)\in (0,1),\sum _{i=1}^k{A}_i=1$，则$A_i$在 $n$ 次试验中各发生$r_i$ 次的概率为
  $$\begin{gathered} \because C_n^{r_1}{C}_{n-r_1}^{r_2}...C_{n-r_1-r_2-...-r_{k-1}}^{r_k}=\frac{n!}{r_1!r_2!...r_k!} \\ \therefore P=\frac{n!}{r_1!r_2!...r_k!}{p}_1^{r_1}{p}_2^{r_2}...p_k^{r_k}{r}_1+r_2+...+r_k=n. \end{gathered}$$