34、机器学习中的模型选择与评估

机器学习中的模型选择与评估

在机器学习中，模型的选择和评估是至关重要的环节，它们直接影响着模型的性能和泛化能力。下面将详细介绍几种常用的模型选择和评估方法。

1. 过拟合与欠拟合

在构建模型时，我们常常会遇到过拟合和欠拟合的问题。当我们添加更多特征时，模型会变得更加复杂，均方误差（MSE）通常会下降。然而，此时拟合的模型会变得越来越不稳定，对数据过于敏感。过拟合时，模型会紧密跟随训练数据，导致对新观测数据的预测效果很差；而欠拟合则是模型过于简单，无法捕捉数据中的复杂模式。

例如，在一些多项式拟合的例子中，6 次、8 次和 12 次多项式会越来越紧密地跟随数据，但它们可能只是拟合了数据中的虚假波动。左上角的拟合线完全错过了数据的曲率，属于欠拟合；右下角的 12 次多项式则呈现出波动的模式，明显过拟合。

为了评估拟合模型的性能，一个简单的方法是计算模型在未用于训练的新数据上的 MSE。由于通常难以获取更多数据，我们会从原始数据中划分出一部分作为测试集来评估模型。

2. 训练 - 测试集划分

训练 - 测试集划分是一种常用的评估模型的方法。我们将数据随机划分为两部分：训练集和测试集。训练集用于构建模型，测试集用于评估模型对新数据的预测能力。

一般来说，测试集占数据的 10% - 25%。划分通常是随机进行的，以确保训练集和测试集具有相似的特征。

具体步骤如下：
1. 随机划分数据 ：使用 scikit-learn 中的 train_test_split 方法将数据随机划分为训练