概率基础

本文深入讲解概率论的基础概念,包括条件概率、全概率公式、贝叶斯公式等,并探讨了事件独立性。同时,介绍了最大似然估计(MLE)与最大后验概率(MAP)在参数估计中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

概率基础

条件概率

  • A条件下B的概率:

P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A) = \frac{P(AB)}{P(A)} P(BA)=P(A)P(AB)

  • 逆概率:

P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A) = \frac{P(A|B) P(B)}{P(A)} P(BA)=P(A)P(AB)P(B)

全概率公式

P ( A ) = ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P(A) = \sum_{i=1}^n P(A|B_i)P(B_i) P(A)=i=1nP(ABi)P(Bi)

贝叶斯公式

P ( B i ∣ A ) = P ( A ∣ B i ) P ( B i ) ∑ j = 1 n P ( A ∣ B j ) P ( B j ) P(B_i|A) = \frac{P(A|B_i) P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)} P(BiA)=j=1nP(ABj)P(Bj)P(ABi)P(Bi)

事件的独立性

  • 两事件中任一事件发生都不影响另一事件发生时:

P ( B ∣ A ) = P ( B ) P(B|A) = P(B) P(BA)=P(B)

  • A,B,C两两独立:

P ( A B ) = P ( A ) P ( B ) P(AB) = P(A)P(B) P(AB)=P(A)P(B) P ( A C ) = P ( A ) P ( C ) P(AC) = P(A)P(C) P(AC)=P(A)P(C) P ( B C ) = P ( B ) P ( C ) P(BC) = P(B)P(C) P(BC)=P(B)P(C)

  • A,B,C相互独立:

P ( A B C ) = P ( A ) P ( B ) P ( C ) P(ABC) = P(A)P(B)P(C) P(ABC)=P(A)P(B)P(C)

MLE和MAP

最大似然估计

找出一组参数 θ \theta θ,使模型产生的观测数据 X X X的概率最大, X = x 1 , x 2 , . . . x n X = x_1,x_2,...x_n X=x1,x2,...xn

a r g m a x θ   P ( X ∣ θ ) = a r g m a x θ ∑ i = 1 n log ⁡ P ( x i ∣ θ ) \underset{\theta}{argmax} \, P(X|\theta) = \underset{\theta}{argmax} \sum_{i=1}^n \log P(x_i|\theta) θargmaxP(Xθ)=θargmaxi=1nlogP(xiθ)

对数似然
a r g m a x θ ∑ i = 1 n log ⁡ P ( x i ∣ θ ) \underset{\theta}{argmax} \sum_{i=1}^n \log P(x_i|\theta) θargmaxi=1nlogP(xiθ)

最大后验概

θ \theta θ参数有一个先验概率 P ( θ ) P(\theta) P(θ),给定了观测值 X X X后,求 θ \theta θ使概率 P ( X ∣ θ ) P ( θ ) P(X|\theta) P(\theta) P(Xθ)P(θ)最大

a r g m a x θ   P ( θ ∣ X ) = a r g m a x θ   P ( X ∣ θ ) P ( θ ) P ( X ) = a r g m a x θ   P ( X ∣ θ ) P ( θ ) \underset{\theta}{argmax} \, P(\theta|X) = \underset{\theta}{argmax} \, \frac{P(X|\theta) P(\theta)}{P(X)} = \underset{\theta}{argmax} \, P(X|\theta) P(\theta) θargmaxP(θX)=θargmaxP(X)P(Xθ)P(θ)=θargmaxP(Xθ)P(θ)

e.g.

概率是已知模型和参数,推数据;统计是已知数据,推模型和参数。

抛一硬币10次,正面朝上60次
MLE:P(正)=60/100=0.6
MAP:通常认为硬币正反55开,则认为P(正)在区间 ( 0.5 , 0.6 ) (0.5,0.6) (0.5,0.6)

附录

encn
statistics统计学
probability概率
Bayes贝叶斯
maximum likelihood estimate最大似然估计
maximum a posteriori最大后验概率
posteriori后验的;其次的
posterior较后的;臀部
posterity后裔;后代
prior优先的;在前的
priori先验的
priority优先;优先次序
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值