10、参数估计方法解析与应用

参数估计方法解析与应用

1. 最大似然估计（MLE）

最大似然估计是一种常用的参数估计方法，其核心思想是找到一组参数，使得在这组参数下观测到现有数据的概率最大。下面通过几个具体例子来详细介绍。

1.1 一般情况的最大似然估计

首先给出拉格朗日函数：
[L(\theta, \lambda) \triangleq - \sum_{k} N_k \log \theta_k - \lambda \left(1 - \sum_{k} \theta_k \right)]
对(\lambda)求偏导数，得到原始约束条件：
[\frac{\partial L}{\partial \lambda} = 1 - \sum_{k} \theta_k = 0]
对(\theta_k)求偏导数：
[\frac{\partial L}{\partial \theta_k} = - \frac{N_k}{\theta_k} + \lambda = 0 \Rightarrow N_k = \lambda \theta_k]
利用(\sum_{k} \theta_k = 1)的约束条件求解(\lambda)：
[\sum_{k} N_k = N = \lambda \sum_{k} \theta_k = \lambda]
因此，最大似然估计值为：
[\hat{\theta}_k = \frac{N_k}{\lambda} = \frac{N_k}{N}]
这就是事件(k)发生的经验频率。

1.2 单变量高斯分布的最大似然估计

假设(Y \sim N(\mu, \sigma^2))，(