29、机器学习算法评估与优化全解析

机器学习算法评估与优化全解析

1. 算法评估与测试数据的重要性

在算法决策方面，我们很难确定哪个决策是最有效的。在评估算法性能时，使用训练数据往往不合适，因为学习算法对训练数据的预测效果通常较好。尤其是当算法由于复杂性而偏差较低时，预测训练数据的误差会更小，这会导致过于乐观的结果，无法与其他算法进行公平比较，也不利于评估。而使用测试数据虽然会减少训练样本，可能影响算法性能，但能得到更可靠且可比的误差估计。

2. 交叉验证

2.1 交叉验证原理与步骤

当测试集因抽样导致结果不稳定时，可采用交叉验证。其原理是系统地抽取一定数量的测试集并取结果平均值，具体步骤如下：
1. 将数据分成若干折（通常为 10 折，3、5、20 折也是可行的选择），每折包含均匀分布的样本。
2. 留出一折作为测试集，其余作为训练集。
3. 训练模型并记录测试集结果。若数据较少，建议使用更多折数，因为数据量和折数的增加有助于提高训练质量。
4. 重复步骤 2 和 3，依次将每一折作为测试集。
5. 计算所有折的测试结果的平均值和标准差。平均值可可靠估计预测器的质量，标准差反映预测器的可靠性（标准差过高，交叉验证误差可能不准确）。

2.2 使用 Scikit - learn 进行 k 折交叉验证

在 Scikit - learn 中，可使用 KFold 迭代器实现 k 折交叉验证，具体操作步骤如下：
1. 初始化 KFold 迭代器，指定折数 n_splits 和是否打乱数据 sh