机器学习（一）--模型评估

机器学习模型评估总结

机器学习的目的是使学得的模型能很好的适用于“新样本”，也就是说使得模型具有更强的泛化能力，泛化能力越好则模型越优。但有的模型可能由于学习器本身学习能力过于强大，进而把训练样本本身的特有性质当做所有潜在样本都会具有的一般性质，导致泛化能力减小，出现“过拟合”的情况。还有一些模型学习能力不够，出现“欠拟合”的情况；“欠拟合”是由于学习器没有通过训练样本学习到一般性质。
一、评估方法
1、性能评估：需使用一个“测试集”来测试学习器对新样本的判别能力，然后以测试集上的测试误差作为泛化误差的近似。通常假设测试样本也是从样本真实分布中独立同分布采样而得，且测试集与训练集要尽量互斥。
一般训练样本和测试样本划分比例如下：
训练样本：测试样本=2：1或 3：1 或4：1
方法一：留出法
留出法直接将数据集D划分为两个互斥的集合，其中一个集合为训练集S，一个集合为测试集T。
划分原则：
①直接将数据集划分为两个互斥集合；
②训练集和测试集的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。如分类任务的“分层采样”；
③单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。

方法二：交叉验证法
将数据集分层采样，划分为k个大小相同或相似的互斥子集。每次使用k-1个数据子集的并集作为训练集，剩下一个数据子集作为测试集。k常用取值为10。
划分规则：
①与留出法类似，将数据集D划分为k个子集同样存在多种 划分方式，为了减小因样本划分不同而引入的差别，k 折交叉验证通常随机使用不同的划分重复p次，最终的 评估结果是这p次k折交叉验证结果的均值，例如常见的 “10次10折交叉验证”。
② 假设数据集D包含m个样本，若令k=m，则得到留一法。
优点： 不受随机样本划分方式的影响 ，结果往往比较准确 ；
缺点：当数据集比较大时，计算开销难以忍受 。

方法三：自助法