15、机器学习模型评估与优化指南

机器学习模型评估与优化指南

1. 机器学习模型评估基础

在机器学习中，提升深度学习模型性能的最佳方式是使用更多或更好的数据进行训练。不过，添加过多噪声或不准确的数据会损害模型的泛化能力。模型本质上只是对训练样本进行粗略的插值，所以要尽可能让插值过程变得简单。当无法获取更多数据时，可以调节模型存储信息的数量，或者对模型曲线的平滑度添加约束，这种对抗过拟合的过程被称为正则化。

在调整模型以提升泛化能力之前，需要一种方法来评估模型当前的表现，也就是模型评估。

1.1 训练集、验证集和测试集

评估模型通常需要将可用数据划分为训练集、验证集和测试集。在训练集上训练模型，在验证集上评估模型。当模型准备好投入使用时，在测试集上进行最终测试，测试集应尽可能与生产数据相似，之后就可以将模型部署到生产环境中。

有人可能会问，为什么不只用训练集和测试集呢？原因在于模型开发过程中需要调整其配置，如选择层数或层的大小（即超参数）。这一调整过程是通过验证集上的模型性能作为反馈信号来进行的，本质上是一种学习过程。但如果基于验证集性能调整模型配置，可能会导致模型对验证集过拟合，即使模型并未直接在验证集上训练。

这里涉及到信息泄露的概念。每次根据验证集性能调整模型超参数时，验证集的部分信息就会泄露到模型中。如果多次这样操作，就会有大量信息泄露，最终得到的模型在验证集上表现良好，但在新数据上的泛化能力可能不佳。因此，需要使用一个全新的、模型从未接触过的测试集来评估模型。

数据划分方法有多种，下面介绍三种经典的评估方法：
- 简单留出验证 ：留出一部分数据作为测试集，在剩余数据上训练模型