本文介绍了模型评估的三种常用方法：留出法、交叉验证法和自助法。留出法是直接划分训练集和测试集，但需多次试验取平均值以提高稳定性。交叉验证法通过k次划分和测试，返回k次结果的均值，更准确但计算开销大。自助法通过有放回抽样创建新的数据集，适合小数据集，但可能改变样本分布。
学习内容
- 评估方法
- 评估指标
- 比较检验
一. 评估方法
理想：通过评估学习器的泛化误差，选出泛化误差最小的模型。
实际：泛化误差只能通过测试求得的测试误差来近似。
从总样本集 D 中产生训练集 S 和测试集 T，往往有以下三种常见方法：留出法、交叉验证法、自助法。
1. 留出法
【留出法】直接将数据集 D 划分为两个互斥的集合，即 D =S T，S
T=
Φ。
比如上图，红色部分为训练集，绿色部分为测试集，两部分互斥。
注意
1. 训练 / 测试集的划分要尽可能保持数据分布的一致性。比如分层采样，保持样本类别的比例相似。
2. 单次使用留出法得到的估计结果往往
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
