概率密度函数的估计

之前的博客中已经提到，贝叶斯决策的基础是概率密度函数的估计，即根据一定的训练样本来估计统计决策中用到的先验概率$P(w_i)$和类条件概率密度$p(x|w_i)$。
概率密度函数的估计分为参数估计和非参数估计。

极大似然估计

极大似然估计属于一种典型的参数估计法。
在最大似然估计(maximum likelihood estimation)中，我们做以下基本假设：

1. 待估计参数$\theta$是确定但未知的量；
2. 每类中的样本满足独立同分布条件；
3. 类条件概率密度$p(x|w_i)$具有某种确定的函数形式，只是其中的参数未知；
4. 不同类别的参数是独立的。

设样本集包含$N$个样本，即S={ x1,x2,...,xN}S=\{x_1,x_2,...,x_N\}S={ x1​,