【机器学习】最大似然估计与最大后验估计

最新推荐文章于 2024-12-01 20:38:22 发布

置顶

菜小白—NLP

最新推荐文章于 2024-12-01 20:38:22 发布

阅读量614

点赞数 4

CC 4.0 BY-SA版权

分类专栏： ML

本文链接：https://blog.youkuaiyun.com/ACM_hades/article/details/91988747

本文深入探讨了概率论中的最大似然估计（MLE）与最大后验估计（MAP）概念。首先解释了概率公式，如联合概率、边缘概率、条件概率和贝叶斯公式。接着，介绍了统计学的频率学派与贝叶斯学派，强调了先验概率的重要性。在MLE部分，通过抛硬币实验展示了如何寻找使样本出现概率最大的参数估计。在MAP部分，引入了先验分布的概念，说明了考虑参数本身分布对于估计的影响。通过实例展示了MAP相比于MLE如何结合先验知识给出更合理的估计结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                    一、一些概率公式 
联合概率：假设有随机变量AAA和BBB，此时P(A=a,B=b)P(A=a,B=b)P(A=a,B=b)用于表示A=aA=aA=a且B=bB=bB=b同时发生的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。
边缘概率：P(A=a)P(A=a)P(A=a)或P(B=b)P(B=b)P(B=b)这类仅与单个随机变量有关的概率称为边缘概率:P(A=a)=∑bP(A=a,B=b)P(A=a)=∑_bP(A=a,B=b)P(A=a)=b∑​P(A=a,B=b)P(B=b)=∑aP(A=a,B=b)P(B=b)=∑_aP(A=a,B=b)P(B=b)=a∑​P(A=a,B=b)
条件概率:条件概率表示在条件B=bB=bB=b成立的情况下，A=aA=aA=a的概率，记作P(A=a∣B=b)P(A=a|B=b)P(A=a∣B=b) P(A│B)=P(A,B)/P(B)P(A│B)=P(A,B)/P(B) P(A│B)=P(A,B)/P(B)即：P(A,B)=P(B)∗P(A∣B)=P(A)∗P(B∣A)P(A,B)=P(B)*P(A|B)=P(A)*P(B|A)P(A,B)=P(B)∗P(A∣B)=P(A)∗P(B∣A)
全概率公式：如果事件A1,A2,A3,…,AnA_1,A_2,A_3,…,A_nA1​,A2​,A3​,…,An​ 构成一个完备事件组，即它们两两互不相容(互斥),其和为全集；并且$ P(A_i)$ 大于0，则对任意事件BBB有:P(B)=P(B∣A1)P(A1)+P(B∣A2)P(A2)+⋯+P(B∣An)P(An)=∑inP(B∣Ai)P(Ai)P(B)=P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+⋯+P(B|A_n)P(A_n)=∑_i^nP(B|A_i)P(A_i)P(B)=P(B∣A1​)P(A1​)+P(B∣A2​)P(A2​)+⋯+P(B∣An​)P(An​)=i∑n​P(B∣Ai​)P(Ai​)
贝叶斯公式:P(A│B)=P(A,B)P(B)=P(B│A)∗P(A)P(B)P(A│B)=\frac{P(A,B)}{P(B)} =\frac{P(B│A)*P(A)}{P(B)} P(A│B)=P(B)P(A,B)​=P(B)P(B│A)∗P(A)​由全概率公式贝叶斯法则可得：P(Ai│B)=P(B│Ai)∗P(Ai)P(B)=P(B│Ai)∗P(Ai)∑i=1nP(B∣Ai)P(Ai)=P(B│Ai)∗P(Ai)P(B│Ai)P(Ai)+P(B∣A^i)P(A^i)P(A_i│B)=\frac{P(B│A_i )*P(A_i)}{P(B)} =\frac{P(B│A_i )*P(A_i)}{∑_{i=1}^nP(B|A_i)P(A_i)}=\frac{P(B│A_i )*P(A_i)}{P(B│A_i )P(A_i )+P(B|\hat{A}_i)P(\hat{A}_i)}