3、监督学习基础：从回归到模型选择的全面解析

监督学习基础：从回归到模型选择的全面解析

1. 监督学习中的损失函数

在监督学习里，损失函数是衡量模型预测值与真实值之间差异的重要工具。常见的损失函数包括 $R^2$ 和平均绝对相对误差（MARE）。

1.1 $R^2$ 指标

$R^2$ 的计算公式为：
$R^2 = 1 - \frac{SSE}{\sum_{i=1}^{n}(y_i - \bar{y})^2} = 1 - \frac{MSE}{var(y)} = 1 - NMSE$
其中，$SSE$ 是误差平方和，$MSE$ 是均方误差，$var(y)$ 是目标变量的方差，$NMSE$ 是归一化均方误差。$R^2$ 越接近 1，说明模型对数据的拟合效果越好。

1.2 平均绝对相对误差（MARE）

$MARE$ 的计算公式为：
$MARE = \frac{1}{n} \sum_{i=1}^{n} |\frac{\epsilon_i}{y_i}|$
$MARE$ 通过相应的目标值对残差进行加权，对于较大绝对值的目标值允许有较大的绝对误差，而接近零的目标值则需要更精确的预测。不过，$MARE$ 仅适用于目标向量中没有零值的情况，当测量误差与测量值相关，即较大绝对值的测量不太准确时，$MARE$ 是一个不错的选择。

1.3 其他损失函数

除了上述两种，还有支持向量回归中的 ε - 不敏感损失函数和 Huber 损失函数等。损失函数的概念具有通用性，可用于各种数学优化问题，监督学习中的回归和分类任务就是其中的特殊情况。

1.4 似然函数

在回归和分类任务中，通常会