10、工业应用中的机器学习模型选择与验证

工业应用中的机器学习模型选择与验证

1. 模型结构与损失函数

在机器学习中，模型结构的递减函数可以用最小化损失来表示。通过最小二乘法（LS 方法）可以得到相关结果。随着模型采用相关方法，函数 f 开始下降。然而，随着参数 t 的增加，模型版本可能会过度拟合信息。通常，我们会在图形中寻找“拐点”（大约在 t = 5 附近）。

2. 简约原则

在所有能很好定义数据的竞争模型中，应选择参数数量较少的模型。确定模型阶数 t 时，需要考虑工作损失和模型规划之间的权衡曲线以及模型选择标准。选择模型的条件包括两部分：损失函数和模型复杂度。
- 损失函数：用于评估模型质量，例如二次损失和性能机会。
- 模型复杂度：用于惩罚高阶模型，随着参数数量的增加而增大。

3. 模型选择标准示例

3.1 Akaike 信息准则（AIC）

[AIC = -2L + 2d]

3.2 贝叶斯信息准则（BIC）

[BIC = -2L + d\log N]

3.3 Akaike 最终预测误差准则（FPE）

具体公式较为复杂，这里暂不详细列出。其中，d 表示有效参数的数量，E (t, θ) 表示预测误差。

不同准则的特点如下表所示：
| 准则名称 | 对复杂模型的惩罚 | 样本量趋于无穷时的选择倾向 |
| ---- | ---- | ---- |
| BIC | 通常惩罚更复杂的模型（由于 log N 项） | 选择正确模型的概率接近 1 |
| AIC 和 FPE | - | 通常