8、鲁棒估计器：理论与实践

鲁棒估计器：理论与实践

1. 最大似然估计器的渐近有效性

最大似然估计器在统计学中具有重要地位。通过证明可知，最大似然估计器满足Cramér - Rao界，具有渐近有效性。其表达式为：
(\hat{\theta}(Y) := \argmax \ln p(Y; \theta) = \argmin \mathcal{L}[\theta])
在证明中，当根据特定条件选择(d)时，(G)等于Fisher信息矩阵。通过对积分项的展开和计算，得出(Q = -I)，进而证明(e = Q^2 / (IG) = 1)，这表明最大似然估计器是渐近有效的。

然而，在实际应用中，最大似然估计器并非总是最佳选择。原因主要有以下几点：
- 渐近性限制：上述渐近有效性仅在样本量趋于无穷大时成立。对于有限样本量，可能存在比最大似然估计更优的方法。
- 非最优损失函数：实际应用中，如稀疏分解等额外目标可能导致选择非最优的损失函数。
- 密度模型未知：最大似然估计器的定义依赖于真实的密度模型，但在实际中，我们往往无法确切知道该模型。错误的密度模型猜测可能导致估计出现较大误差。

2. 鲁棒估计器的引入

为了应对上述问题，鲁棒估计器应运而生。在进行实际预测时，我们通常需要假设数据的分布类型，并且在风险泛函的情况下，还假设训练数据和测试数据具有相同的分布。但在实际中，这些假设可能并不成立。鲁棒估计器的主要目的是避免一定比例的“坏”观测值（即异常值）严重影响估计的质量，这意味着单个样本的影响应该有上限。

在估计位置参数时，我们通常假设(p(Y; \theta))具有特定的参数形式：
(p(Y; \theta) = \pr