机器学习0000_数学基础_概率论与数理统计_参数估计_点估计

以下内容为原创[部分参考自教材，未经允许，不得转载]

统计推断的基本问题可以分为两大类：估计问题、假设检验问题。机器学习(ML)中常常绕不开这两个问题。点估计可以通俗地理解为估计模型中的参数（点估计）、估计参数取值的范围（区间估计）。本文介绍的时点估计方法。

（1）矩估计法

首先我们提出一个问题

到这里，可能大家就会想，我们可以使用样本均值和样本方差作为相应的总体均值和总体方差的估计量。矩估计法就是这样的原理。这里涉及到无偏估计量等问题[1]，以后填坑。接下来我们试着使用矩估计法解题(顺便复习求期望和方差)。

在实际估计中，常常使用k阶原点矩进行参数估计，此时有

（2）最大似然估计法

关于最大似然估计，有一个黑球和白球的栗子十分经典，初始来源已经很难考究。

举一个栗子：一个麻袋里有白球与黑球，有放回的抽取10次，结果为8次黑球2次白球，求黑白球之间的比例。最大似然估计法： 假设抽到黑球的概率为p,抽到白球的概率为(1-p), 那得出8次黑球2次白球这个结果的概率为：

那么p应该是多少？很简单，使p(黑=8)最大时的p‘即为我们想要的估计值。

为何要使p(黑=8)最大？因为我们已经取得样本“黑=8,白=2”，表明取得样本“黑=8,白=2“的概率比较大，我门当然不考虑那些不能使“黑=8,白=2“出现的p‘作为估计量。

在这个栗子中，p(黑=8)成为样本的似然函数，而相应的统计量p‘称为参数p的最大似然估计量

最后再举个X连续型的栗子

有待更新：最小二乘法、贝叶斯估计法[2]

参考资料：《概率论与数理统计》浙大第四版

欢迎关注_知乎栏目_Python编程与机器学习~~~