6、机器学习基础与线性算法解析

机器学习基础与线性算法解析

1. 误差指标与模型验证

在机器学习中，有两个重要的误差指标，分别是相对平方误差（RSE）和决定系数（$R^2$）。
- 相对平方误差（RSE） ：当两个误差的测量单位不同时使用，公式为：
$RSE = \frac{\sum_{i=1}^{n}(y_i - \hat{y} i)^2}{\sum {i=1}^{n}(\bar{y} i - y_i)^2}$
- 决定系数（$R^2$） ：用于总结回归模型的解释能力，其计算基于平方误差。相关公式如下：
$SSE {residual} = \sum_{i=1}^{n}(y_i - \hat{y} i)^2$
$SSE {total} = \sum_{i=1}^{n}(y_i - \bar{y} i)^2$
$R^2 = 1 - \frac{SSE {residual}}{SSE_{total}}$

模型验证的目的是选择具有合适超参数值的模型。当假设集中有多个假设时，每个独特的假设会在训练集$D_{train}$上进行训练，然后在验证集$D_{val}$上进行评估，最后选择性能指标最佳的模型。

这里存在一个有趣的学习悖论：为了很好地估计样本外误差，我们需要大量的验证点；但为了让模型训练得更好，我们又需要验证集中的数据点更少。解决这个悖论的实际方法是：先用训练数据$D_{train}$训练模型$h^-$，然后用该模型在验证数据$D_{val}$上估计误差$E_{out}(h^-)$，最后将这些