概率基础
条件概率
- A条件下B的概率:
P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A) = \frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)
- 逆概率:
P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A) = \frac{P(A|B) P(B)}{P(A)} P(B∣A)=P(A)P(A∣B)P(B)
全概率公式
P ( A ) = ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P(A) = \sum_{i=1}^n P(A|B_i)P(B_i) P(A)=i=1∑nP(A∣Bi)P(Bi)
贝叶斯公式
P ( B i ∣ A ) = P ( A ∣ B i ) P ( B i ) ∑ j = 1 n P ( A ∣ B j ) P ( B j ) P(B_i|A) = \frac{P(A|B_i) P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)} P(Bi∣A)=∑j=1nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi)
事件的独立性
- 两事件中任一事件发生都不影响另一事件发生时:
P ( B ∣ A ) = P ( B ) P(B|A) = P(B) P(B∣A)=P(B)
- A,B,C两两独立:
P ( A B ) = P ( A ) P ( B ) P(AB) = P(A)P(B) P(AB)=P(A)P(B) P ( A C ) = P ( A ) P ( C ) P(AC) = P(A)P(C) P(AC)=P(A)P(C) P ( B C ) = P ( B ) P ( C ) P(BC) = P(B)P(C) P(BC)=P(B)P(C)
- A,B,C相互独立:
P ( A B C ) = P ( A ) P ( B ) P ( C ) P(ABC) = P(A)P(B)P(C) P(ABC)=P(A)P(B)P(C)
MLE和MAP
最大似然估计
找出一组参数 θ \theta θ,使模型产生的观测数据 X X X的概率最大, X = x 1 , x 2 , . . . x n X = x_1,x_2,...x_n X=x1,x2,...xn
a r g m a x θ P ( X ∣ θ ) = a r g m a x θ ∑ i = 1 n log P ( x i ∣ θ ) \underset{\theta}{argmax} \, P(X|\theta) = \underset{\theta}{argmax} \sum_{i=1}^n \log P(x_i|\theta) θargmaxP(X∣θ)=θargmaxi=1∑nlogP(xi∣θ)
对数似然
a
r
g
m
a
x
θ
∑
i
=
1
n
log
P
(
x
i
∣
θ
)
\underset{\theta}{argmax} \sum_{i=1}^n \log P(x_i|\theta)
θargmaxi=1∑nlogP(xi∣θ)
最大后验概
θ \theta θ参数有一个先验概率 P ( θ ) P(\theta) P(θ),给定了观测值 X X X后,求 θ \theta θ使概率 P ( X ∣ θ ) P ( θ ) P(X|\theta) P(\theta) P(X∣θ)P(θ)最大
a r g m a x θ P ( θ ∣ X ) = a r g m a x θ P ( X ∣ θ ) P ( θ ) P ( X ) = a r g m a x θ P ( X ∣ θ ) P ( θ ) \underset{\theta}{argmax} \, P(\theta|X) = \underset{\theta}{argmax} \, \frac{P(X|\theta) P(\theta)}{P(X)} = \underset{\theta}{argmax} \, P(X|\theta) P(\theta) θargmaxP(θ∣X)=θargmaxP(X)P(X∣θ)P(θ)=θargmaxP(X∣θ)P(θ)
e.g.
概率是已知模型和参数,推数据;统计是已知数据,推模型和参数。
抛一硬币10次,正面朝上60次
MLE:P(正)=60/100=0.6
MAP:通常认为硬币正反55开,则认为P(正)在区间 ( 0.5 , 0.6 ) (0.5,0.6) (0.5,0.6)中
附录
en | cn |
---|---|
statistics | 统计学 |
probability | 概率 |
Bayes | 贝叶斯 |
maximum likelihood estimate | 最大似然估计 |
maximum a posteriori | 最大后验概率 |
posteriori | 后验的;其次的 |
posterior | 较后的;臀部 |
posterity | 后裔;后代 |
prior | 优先的;在前的 |
priori | 先验的 |
priority | 优先;优先次序 |