交叉验证的不同命运：在机器学习与深度学习中的应用差异

拓展参考文章请阅读

交叉验证的详细讲解，请阅读： 深度解析——机器学习“照妖镜”：交叉验证如何让模型现出原形？

本文总结置顶

交叉验证这个概念在传统的机器学习中应用得更多、更普遍，而在深度学习中由于其特点应用得相对较少，但仍然在某些场景下非常重要。

---

下面我们来详细解释一下为什么会出现这种情况。

1. 交叉验证在传统机器学习中占主导地位

在传统机器学习（如SVM、决策树、随机森林、逻辑回归等）中，交叉验证是模型评估和超参数调优的标准工具和核心流程。

为什么？

• 数据量通常较小： 传统机器学习方法在很多场景下，数据集规模可能是几百、几千或几万条。在这种情况下，数据非常宝贵，我们舍不得拿出一大块（比如20%）只做验证而不用来训练。
• 核心目标是泛化能力： 我们需要一个可靠的方法来估计模型在未知数据上的表现（泛化能力）。单一的训练-测试集划分结果可能不稳定，严重依赖于具体的划分方式。交叉验证通过多次划分、多次验证，能得到一个更稳定、更可靠的性能评估均值。
• 防止过拟合： 在超参数调优时，如果只用一个固定的验证集，可能会不小心“过拟合”到这个特定的验证集上。K折交叉验证可以有效缓解这个问题，因为它让模型在所有的数据子集上都进行了训练和验证。

在传统机器学习中的典型工作流：

1. 将全