西瓜书#机器学习学习笔记(小白都能看懂的机器学习教程）（格式调整中）

第一章绪论

什么是机器学习？

机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时（例如看到一个没剖开的西瓜），模型会给我们提供相应的判断（例如好瓜）。

基本术语：（不懂得可以上原书翻或者复制一下去问问chatgpt或者文心一言）

样本、样本空间、数据集、特征、属性值、属性空间、特征向量、学习、学习器、训练集、标记（label）、标记空间、分类、回归、二分类、多分类、测试、聚类、监督学习、无监督学习、泛化能力、假设、假设空间、版本空间、归纳偏好、NFL定理（没有免费的午餐定理）

第一章模型评估与选择

在现实中如何进行模型评估与选择呢？

1️⃣留出法

“留出法”(hold-out)直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D=S∪T,S∩T=∅。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

如果从采样(sampling)的角度来看待数据集的划分过程，则保留类别比例的采样方式通常称为“分层采样”(stratified sampling)。

单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。例如进行100次随机划分，每次产生一个训练/测试集用于实验评估，100次后就得到100个结果，而留出法返回的则是这100个结果的平均。

2️⃣交叉验证法（k倍交叉验证）

“交叉验证法”(cross validation)先将数据集D划分为k个大小相似的互斥子集，即D=D1∪D2∪...∪Dk,Di∩Dj=∅(i≠j)。每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集；这样就可获得k组训练/测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。显然，交叉验证法评估结果的稳定性和保真性在很大程度上取决于k的取值，为强调这一点，通常把交叉验证法称为“k折交叉验证”(k-fold cross validation)。k最常用的取值是10，此时称为10折交叉验证；其他常用的k值有5、20等。