36、监督学习范式：原理、风险与变体

监督学习范式：原理、风险与变体

1. 监督学习中的偏差 - 方差分解

在监督学习中，均方误差（MSE）可以表示为：总误差等于偏差的平方加上方差再加上不可约误差，即：
$Total Error = Bias^2 + Variance + Irreducible Error$

这个公式清晰易懂，它表明总误差是由偏差的平方、方差和不可约误差这三个参数的和构成。通过一个示意图可以揭示监督学习模型的复杂度与总误差、偏差平方以及方差之间的关系。

在构建更好的监督学习模型时，需要找到偏差和方差之间的合适平衡点，以最小化总误差。图中最优平衡的虚线与总误差的实线的交点就是最优结果。满足偏差和方差最优平衡的模型不会出现欠拟合或过拟合的问题。因此，偏差和方差问题是理解监督学习范式的重要因素之一。

2. 风险最小化原则

风险最小化原则是监督学习范式中需要考虑的重要因素，它为监督学习算法提供了理论性能边界。主要包括以下几种：

2.1 期望风险最小化

• 期望风险定义 ：假设 $h \in H$ 的期望风险由风险函数 $R(h)$ 表示，它是损失函数 $L(h(x), y)$ 的期望风险，即：
  $R(h) = E_{X,Y}[L(h(x), y)] = \int_{X,Y} L(h(x), y) p(x, y) dxdy$
  期望风险也被称为期望误差或广义误差，用于确定假设 $h(x)$ 的预测值是否最接近目标值 $y$。
  对于监督学习中的分类任务，其期望风险用于计算 $h(x)$ 不等于 $y$ 的期望，即：
  $R(h) =