机器学习KNN2-模型评估

一、概述

机器学习模型评估是对模型性能进行量化和优化的过程。评估不仅涉及对模型在训练集上的性能考察，还包括在测试集上的表现评估。训练集用于训练模型，测试集则用于验证模型在新数据上的泛化能力。此外，为了充分了解模型的性能，还常常采用交叉验证等技术进行评估。

二、评估方法

2.1、留出法

​留出法（hold-out)直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D = S ⋃ T , S ⋂ T = ∅ D=S \bigcup T,S\bigcap T=\varnothingD=S⋃T,S⋂T=∅。在S上训练出模型后，用T来评估其测试误差，作为泛化误差的估计。留出法通常用于样本量很大的情况。

2.2、交叉验证法

​“交叉验证法”（cross validation）先将数据集划分为K个大小相似的互斥子集，即

每一个自己D i D{_i}D 
i
​
 都尽可能保持数据分布的一致性，即从D 中通过分层采样得到。然后每次用k − 1 个子集的并集作为训练集；这样就可以得到k 组训练/ //测试集，从而可以进行k kk次训练，因此交叉验证法也称为“k 折交叉验证法”k −fold cross validation。k 常用的取值为10，此时称为10折交叉验证法。下面是10折交叉验证法的示意图.