最大似然估计

问题描述

考虑一个M类的问题，并将类记作。

已知特征向量服从  分布，但概率分布的一些参数未知，

将未知参数的集合记作未知向量，此时概率分布可表示为

最大似然估计是利用已知的特征向量来估计未知参数的一种方法

假设条件

最大似然估计假设每个类的概率分布函数是互不影响的，则我们可以独立地估计每一个类的概率密度函数的参数。

理论推导

假设是从概率密度函数中随机抽取的样本，且彼此独立。

记为抽取的样本集，则联合概率密度函数：

用最大似然法估计，则：

在取得最大值的处，联合概率密度函数对的导数为0，即：

为了计算方便，我们定义

则，通过该公式可估计出