kogg123的博客

（一）两种误差1.训练误差（经验误差）：样本的测试集（样本的一部分，测试集有不同划分方法）的误差2.泛化误差：新样本上的误差（二）评估方法（或者说是测试集的选取方法）1.留出法分层采样，使训练集和测试集类别比例尽量一样。适用于数据较多的情况。2.交叉验证法k折交叉验证，分k组，每次用k-1个组作为训练集，一组作为测试集（k个组都会轮一遍，所以是k次）。适用于数据较多的情况。ps:10次10折交叉验证法和100次留出法都是训练/测试一百次3.自助法从含有m个数据

（一）基本术语1.标记2.样例3.泛化能力4.过拟合（二）学习任务的分类学习任务种类：1.按照数值类型（1）分类：预测的是离散值（2）回归：预测的是连续值2.训练数据是否有标记（1）有监督学习：有标记，包括分类和回归。（2）无监督学习：无标记，包括聚类（对训练集进一步分组）（三）一些理论1.奥卡姆剃刀理论：多个假设与观察一致，选择最简单的。2.NFL（没有免费的午餐）：无论学习算法如何，期望性都相同（它的前提是所有问题重要性一样，但实际上我们关注的