机器学习中的训练集、验证集和测试集

在有监督(supervise)的机器学习中，数据集一般被分成2~3个，即：训练集(train set) 、验证集(validation set) 测试集(test set)。

三个集合的定义为：

Training set：A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier. 

Validation set：A set of examples used to tune the parameters [i.e., architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network. 

Test set：A set of examples used only to assess the performance [generalization] of a fully specified classifier. 

||||

训练集：学习样本数据集，通过匹配一些参数来建立一个分类器。建立一种分类的方式，主要是用来训练模型的。

验证集：对学习出来的模型，调整分类器的参数，如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。

测试集：主要是测试训练好的模型的分辨能力（识别率等）、推广能力。

 

一个典型的划分是训练集占总样本的50％，而其它各占25％，三部分都是从样本中随机抽取。

 

但实际应用中，一般只将数据集分成两类，即training set 和test set，大多数文章并不涉及validation set。

 

 

【Reference】

1. http://blog.youkuaiyun.com/losteng/article/details/50766252

2. http://www.cnblogs.com/xfzhang/archive/2013/05/24/3096412.html