【机器学习导引】ch2-模型评估与选择

经验误差与过拟合 （Empirical error &overfitting）

• 经验误差是指学习器 $f$ 在训练集上表现出的误差。公式为：

  $$R_{emp}(f)=\frac{1}{m}\sum _{i=1}^{m}L(f(x_i),y_i)$$

  其中 $L(f(x_i),y_i)$ 是损失函数，表示模型在训练样本 $(x_i,y_i)$ 上的误差。

• 泛化误差是指学习器 $f$ 在未来的未见样本上所表现出的误差。公式为：

  $$R(f)=\mathbb{E}[L(f(x),y)]=\int L(f(x),y)dP(x,y)$$

  • 这里 $P(x,y)$ 是样本的真实分布， $L(f(x),y)$ 表示模型对新的样本 $(x,y)$ 的误差。
  • 公式右侧的积分表达式说明了**泛化误差是模型在整个真实数据分布下的平均误差，**即模型不仅要在训练数据上表现好，还需要在未来可能遇到的未知样本上表现良好。

要点：

• 经验误差并非越小越好，因为过度减小经验误差可能导致模型过拟合（即模型在训练集上表现非常好，但在新样本上表现差）。

• 常见的损失函数与适用范围

  1. 均方误差（Mean Squared Error, MSE）

  • 公式： $MSE=\frac{1}{n}{\sum }_{i=1}^n(y_i-\widehat{y_i}{)}^2$
  • 适用场景：主要用于回归任务，例如预测房价或气温。
  • 解释：MSE 计算的是真实值 $y_i$ 与预测值 $\widehat{y_i}$ 之间的平方差。这个损失函数惩罚较大的误差，因此对异常值较为敏感。

  2. 均方根误差（Root Mean Squared Error, RMSE）

  • 公式： $RMSE=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(y_i-\widehat{y_i}{)}^2}$
  • 适用场景：同样适用于回归任务，其单位与输出变量一致，因此易于解释。
  • 解释：与 MSE 类似，但在计算后进行了平方根处理，避免了过度放大大误差的影响。

  3. 平均绝对误差（Mean Absolute Error, MAE）

  • 公式： $MAE=\frac{1}{n}{\sum }_{i=1}^n|y_i-y$