PRML学习笔记—第一章——1.3模型选择

三个名词：

training set ,validation set, test set

三者之间的区别见：

http://www.cnblogs.com/xfzhang/archive/2013/05/24/3096412.html

当validation set 较小时，可以采用交叉验证的方式：

S折验证，留一交叉验证等等，

交叉验证的缺点：1，计算量会随着S的增大而急剧增大。2，对一个模型而言，会产生多个复杂度参数。

增加罚项。BIC方式。