10、机器学习中的损失函数、风险最小化与偏差 - 方差困境

机器学习中的损失函数、风险最小化与偏差 - 方差困境

1. 环境约束与损失函数

在机器学习中，损失函数是衡量模型预测与真实目标之间差异的重要工具。在二次损失的情况下，我们有如下表达式：
[E(\hat{w}) = \frac{1}{2} \sum_{i=1}^{n} \sum_{\kappa=1}^{\ell} (y_{\kappa,i} - f_i(x_{\kappa}))^2]
不同的度量方式会产生相关的扩展。

传统的监督学习风险函数通常基于对损失函数 (V(x, y, f)) 求平均得到，这里的损失函数衡量了给定目标 (y) 的拟合程度。然而，在考虑学习任务之间的相互作用时，我们需要超越传统监督学习的形式化，通过约束来建模任务间的交互。

以计算机视觉中光流估计的亮度不变性问题为例，学习任务是给定视网膜中的速度场 (f = \dot{x})，其中 (x) 是通用像素的坐标。我们可以将 (y) 视为与视频信号 (y(t, x) := v(t, x)) 对应的跟踪函数。假设存在一个概率分布 (P(x, t)) 来衡量学习过程中的注意力分配，在最简单的情况下，(P(x, t) \propto dxdt)。那么，在整个视网膜 (X \subset R^2) 和特定时间范围 (T) 内满足约束条件可以转化为最小化以下风险：
[E(f) = E_{T X} \left\lVert \partial_t y + f’ \nabla y \right\rVert^2 = \int_{X \times T} \left\lVert \partial_t y + f’ \nabla y \right\rVert^2 dP(x, t)]
但这个条件 (E(f