12、机器学习模型评估、优化与特征工程

机器学习模型评估、优化与特征工程

1. 模型评估与优化

1.1 模型评估基础

在评估机器学习模型性能时，有一些基本原则需要遵循：
- 不能将训练数据既用于训练又用于评估，避免数据的重复使用。
- 交叉验证是一种更可靠的模型评估方法，常见的交叉验证方式有：
- 留出法交叉验证：这是最简单的交叉验证形式，留出一个测试集用于预测，以更好地估计模型的泛化能力。
- k 折交叉验证：将数据随机分成 k 个不相交的子集（折），每次留出一个折进行交叉验证，在其余数据上构建模型。这种方法能提供更可靠的模型性能估计，但计算成本较高。当 k 等于样本数量时，即留一法交叉验证，能得到最佳估计。

1.2 基本模型评估工作流程

基本的模型评估工作流程如下：
1. 获取并预处理用于建模的数据集，确定合适的机器学习方法和算法。
2. 根据可用的计算资源，使用留出法或 k 折交叉验证方法构建模型并进行预测。
3. 根据机器学习方法是分类还是回归，选择合适的性能指标来评估预测结果。
- 对于分类模型，常用的性能指标包括简单计数准确率、混淆矩阵、接收者操作特征（ROC）、ROC 曲线以及 ROC 曲线下面积（AUC）。
- 对于回归模型，常用的指标有均方根误差和 R 平方估计量，简单的可视化方法如预测与实际值的散点图和残差图也很有用。
4. 调整数据和模型，直到获得期望的模型性能。

1.3 网格搜索优化

可以使用网格搜索算法来优化模型的调优参数。例如，初始模型的 AUC 可能低至 0.5（与随机猜测无异），而经过网格搜索优化后的模型可以将准确率提