24、偏差 - 方差权衡的新颖应用

偏差 - 方差权衡的新颖应用

1. 偏差 - 方差权衡基础

在某些情况下，较大的协方差能保证若某个 $\hat{F}(\theta)$ 错误地偏大，那么 $\hat{F}(\theta’)$（$\theta’ \neq \theta$）也会错误地偏大。$\hat{F}$ 各分量间的这种耦合关系能保留 $\theta$ 在 $F$ 下的排序。所以，即便每个 $\theta$ 的偏差和方差都很大，整体的估计器仍可能表现良好。

不过，为每个单独的 $\theta$ 设计偏差加方差足够小的估计器 $\hat{F}(\theta)$ 就足够了。更准确地说，假设这些项相对于任意 $\theta$ 和 $\theta’$ 的 $F(\theta) - F(\theta’)$ 的差异尺度非常小。根据切比雪夫不等式，我们可知随机变量 $\hat{F}(\theta)$ 和 $\hat{F}(\theta’)$ 的密度函数几乎没有重叠。因此，$\hat{F}(\theta) - \hat{F}(\theta’)$ 的样本与 $F(\theta) - F(\theta’)$ 符号相反的概率几乎为零。

显然，$E[L]$ 通常由涉及偏差、方差、协方差和高阶矩的复杂关系决定。自然 MCO（特别是朴素 MCO）会忽略所有这些影响，因此在实践中往往表现不佳。

2. 参数化机器学习

基本的 MCO 问题有很多变体，其中一些在参数化密度估计和参数化监督学习中得到了深入研究，这两者共同构成了参数化机器学习（PL）领域。

参数化监督学习试图解决以下问题：
[
\arg \min_{\theta \in \Theta} \int dx