[文献阅读]Robust parameter estimation with a small bias against heavy contamination

文章标题为《Robust parameter estimation with a small bias against
heavy contamination》（可以抗重污染数据的有小偏差的稳健参数估计），是日本统计数学研究所Hironori Fujisawa和 Shinto Eguchi于2008年发表在《Journal of Multivariate Analysis》的文章。

该文章主要介绍了一种新的有小偏差的稳健参数估计的方法，该估计是基于$\gamma$交叉熵得出的，并且求得的估计具有较好的性质，在数据污染较为严重的情况下，估计值仍然较为准确。

本文只是介绍这篇文章的方法与思想，不阐述证明相关的内容。可能存在理解不准确的地方，欢迎指正。

稳健的参数估计方法中，有一类方法在进行参数估计时，需要考虑密度权值（density power weight），密度权值可以表示为：$f(x{)}^{\gamma }$，其中$f(x)$为密度函数，$\gamma$为正常数。并且，当$x$为异常值时，$f(x)$会很小。

稳健的参数估计

$f(x)$ 为潜在的概率密度函数（就是正常样本的概率密度函数，但是未知）；
$\delta (x)$ 为与异常值有关的密度函数；
$g(x)$为污染后的样本的密度函数；
且假设：$g(x)=(1-ϵ)f(x)+ϵ\delta (x)$, $ϵ$为样本被污染的比例。

$f_{\theta }(x)$为参数密度函数（就是假设$g(x)$形式已知，含有未知参数$\theta$）；
设$\hat{\theta }$是根据独立同分布（都服从$g$分布）的样本$x_1,...,x_n$得到的估计值;
那么：

• 如果样本中没有异常值，就有$g(x)=f(x)$，我们进行一般的参数估计，目的是使得$f_{\hat{\theta }}$