似然函数意义及最大似然估计(MLE)的求解

一、似然函数

似然函数是给定观测数据时，参数  的函数。它表示在参数  的条件下，

观测数据出现的概率。

数学上，似然函数可以表示为：

对于独立同分布的数据，似然函数是各个数据点概率的乘积：

 似然函数的意义：

• 它衡量了参数  对观测数据的“解释能力”。
• 似然函数的值越大，说明参数  越可能生成观测数据 。

通过最大化似然函数，我们可以找到 最有可能（最合理）的参数值，这就是 最大似然估计。

二、最大似然估计 

1、最大似然估计的求解步骤

最大似然估计的求解通常包括以下步骤：

1. 构建似然函数：基于观测数据和概率分布模型。
2. 取对数似然函数：将似然函数转化为对数形式，简化计算。
3. 对参数求导并求解：找到使似然函数最大的参数值。
4. 验证二阶导数：确保求解的是最大值。

2、具体例子：伯努利分布的最大似然估计

假设我们有一组观测数据 ，其中每个  取值为 0 或 1，且服从伯努利分布：

2.1构建似然函数

似然函数是观测数据的联合概率：

2.2取对数似然函数

为了简化计算，取对数似然函数：

展开后，得：

2.3对参数求导并求解

为了最大化对数似然函数，我们对  求导，并令导数为零：

令导数为零，得：

整理得：

令 ，则上式变为：

解方程，得：

因此， 的最大似然估计为：

总结

1. 似然函数 是给定数据时参数的函数，衡量参数对数据的解释能力。
2. 最大似然估计 通过最大化似然函数，找到最合理的参数值。
3. 对于伯努利分布，最大似然估计  是观测到的成功频率。