本文探讨了机器学习中的参数估计，包括频率学与贝叶斯学的区别，最大似然估计（MLE）、最大后验估计（MAP）和贝叶斯估计的概念与应用。通过对贝叶斯公式的解释，展示了如何在不同估计方法中结合先验知识。总结指出，MLE代表频率派观点，而MAP和贝叶斯估计体现了贝叶斯派思想，其中贝叶斯估计通过参数分布的均值来表示参数。
参数估计，也就是机器学习中，我们需要知道数据分布模型的参数。
频率学 VS 贝叶斯学
在频率学的观点中，不断对事物发生的频率进行统计，就可以得到事物的概率，数据集中的某一个样本只是实验结果中的一个。
频率学认为，数据分布中需要估计的参数theta是确定的一个未知数，通过我们已经得到的数据，可以猜测得出这个未知的参数。
在贝叶斯学的观点中，事物发生的概率和人们的主观经验，信念也有一定关系，这个主观的判断也就是贝叶斯公式的中先验概率。而我们根据数据集得到的参数theta的概率也只是theta在这个数据集上的概率而已，也就是条件概率P(theta|A)。在贝叶斯学的观点中，我们需要根据先验概率(Brief)和条件概率，获得最终关于theta的概率，也就是后验概率。
贝叶斯学认为，需要估计的参数theta并不是确定的未知数，而是一个遵循分布(也就是先验知识)的随机变量，根据数据集，更新先验知识，得到theta的后验概率。
贝叶斯公式
贝叶斯公式:
也就是：
后验概率 = (先验概率 * 似然估计) / evidence
朴素贝叶斯模型（NBM）：基于贝叶斯定理和特征条件独立假设（对条件概率分布做了条件独立性的假设）的方法。假设给定目标值时属性之间相互条件独立。
最大似然估计MLE
最大似然估计，MLE
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
