训练集/验证集/测试集的区别

原文链接: http://chenhao.space/post/ef3b1e7d.html

深度学习模型的参数分为普通参数和超参数：

普通参数：在模型训练的过程中可以被梯度下降所更新的，也就是训练集所更新的参数。

超参数：比如网络层数、网络节点数、迭代次数、学习率等等，这些参数不在梯度下降的更新范围内。超参数的设置一般是人工根据验证集来调。

训练集的作用就是通过梯度下降来调整模型的内部普通参数。

验证集的作用是在每个epoch完成后，用来测试一下当前模型的准确率，并根据验证集的准确率调整模型的超参数，如迭代次数、学习率等；在每一步训练之后，计算验证集的分类精度。一旦验证集的分类精度达到饱和，就停止训练。这种策略叫做提前终止（early stopping）。

测试集是用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。

参考资料：

1. http://www.manongjc.com/article/37736.html
2. https://blog.youkuaiyun.com/ytusdc/article/details/86488537