24、机器学习的用户方面与模型改进策略

机器学习的用户方面与模型改进策略

1. 机器学习问题的定义

解决实际的机器学习问题是一个迭代的过程，需要训练模型、评估模型，并提出改进措施，然后再次训练模型。为了高效地完成这个过程，我们需要判断新模型是否比旧模型有所改进。直接将模型投入生产进行评估既耗时又不准确，还存在安全问题。更好的策略是通过预留验证数据集和测试数据集，并使用标量评估指标来自动化评估过程。

1.1 训练、验证和测试数据

将可用数据划分为训练数据、验证数据和测试数据：
- 训练数据：用于训练模型。
- 验证数据：用于比较不同的模型结构、选择模型的超参数、进行特征选择等。
- 测试数据：用于评估最终模型的性能。

如果可用数据量较小，可以使用 k 折交叉验证代替预留验证数据，但最终仍需使用测试数据来获得性能的最终估计。在迭代过程中，验证数据（或 k 折交叉验证）用于判断新模型是否优于旧模型。在验证阶段，我们可以训练多个新模型，例如对于神经网络模型，可以尝试不同数量的隐藏单元，然后选择在验证数据上表现最佳的模型。

需要注意的是，验证数据和测试数据应来自与生产环境中预期的数据相同的分布。如果它们的分布不同，我们可能会朝着错误的目标进行模型验证和改进。此外，在划分数据时，可能会出现组泄漏问题，即数据点并非随机独立，而是按组排列。解决组泄漏问题的方法是进行组划分，确保同一组的数据只出现在一个数据集中。

1.2 验证和测试数据集的大小

预留多少验证数据和测试数据，或者是否使用 k 折交叉验证，取决于可用数据量、计划检测的性能差异以及计划比较的模型数量。例如，如果分类模型的准确率为 99.8%，而验证数据集只有