11、预测模型构建：从评估到优化

预测模型构建：从评估到优化

1. 模型性能评估指标——AUC

AUC（Area Under the Curve）即ROC曲线下的面积。一个完美的分类器AUC为1.0，随机猜测的AUC为0.5。在某些示例中，样本内数据的AUC为0.98，而样本外数据的AUC为0.85，这表明基于训练集误差的性能估计往往会高估模型性能。

部分用于衡量二元分类器性能的方法同样适用于多分类器，如误分类误差和混淆矩阵。此外，ROC曲线和AUC也有对应的多分类推广形式。

2. 模拟部署模型的性能

为了准确估计预测模型部署后的预期性能，需要在训练集之外的数据上进行测试。常见的做法是将可用的标注数据分为两个子集：
- 训练集 ：包含约三分之二的可用数据，用于拟合普通最小二乘（OLS）模型。
- 测试集 ：包含剩余三分之一的数据，仅用于确定模型性能，不参与模型训练。

测试集的大小通常占数据的25% - 35%，但并没有严格的规则。需要注意的是，训练数据集的大小缩小时，训练模型的性能会下降，从训练集中取出过多数据可能会对最终性能产生不利影响。

另一种保留数据的方法是n折交叉验证。具体步骤如下：
1. 将数据集划分为n个大致相等且不相交的子集。
2. 进行多次训练和测试：
- 第一次，将第一个子集保留用于测试，其余n - 1个子集用于训练。
- 第二次，将第二个子集保留用于测试，其余n - 1个子集用于训练。
- 以此类推，直到所有子集都被用作测试集。