25、工程师统计学习入门：模型评估、预处理与特征降维

工程师统计学习入门：模型评估、预处理与特征降维

1. 模型评估与超参数影响

在模型评估中，超参数的选择对模型性能有一定影响，但幸运的是，在最优值附近，性能相对稳定。以图 39 中的训练和验证样本误分类率为例，不同的 gamma (γ) 值对应的误分类率如下表所示：
| gamma (γ) | 75 | 100 | 125 | 175 | 200 |
| — | — | — | — | — | — |
| 训练样本误分类率 | 11.75% | 0.25% | 0.25% | 0.25% | 0.25% |
| 验证样本误分类率 | 12.00% | 3.75% | 2.50% | 1.75% | 2.00% |

从表中可以看出，当 gamma 值在一定范围内变化时，训练样本误分类率大多保持在较低水平，而验证样本误分类率也呈现出一定的变化趋势。不过，当 gamma = 175 时，由于过拟合产生了一个小的异常情况，它用一个小椭圆将训练集中类别 1 最右侧的观测值包围起来。

2. 支持向量机作为惩罚函数估计器

2.1 惩罚回归的基本原理

为了避免过拟合，惩罚回归在目标函数中加入了对拟合函数复杂度的惩罚项。一般形式为：
[
\sum_{j=1}^{N} (Y_j - m(X_j))^2 + \lambda P(m) = \min
]
其中，(\sum_{j=1}^{N} (Y_j - m(X_j))^2) 是数据项，衡量了 (m(x)) 对训