23、机器学习特征工程与实验框架详解

机器学习特征工程与实验框架详解

1. 模型效果评估

在整体结果中，我们取消了约35万次会议。不取消会议时的准确率为96.3%，决定取消会议时的准确率为81.4%。之前使用贝叶斯分类器时取消了920355次会议，取消决策的正确率为83%。现在使用第三个变量和更复杂的模型，虽然取消的会议数量大幅减少，但正确率相近。

第一组结果基于整个数据集，第二组基于边缘分布（即概率接近0.7的航班）。第二组结果表明，我们做出的概率决策是合理的，继续进行会议的决策正确率为72%，具体数据如下：

{'correct_cancel': 0.33481603514552444, 'total_noncancel': 22242,
'correct_noncancel': 0.7212930491862243, 'total_cancel': 18210}

使用三个变量进行逻辑回归的机器学习，使我们的性能达到了手动调整启发式方法的三倍。机器学习不仅提供了更好的模型，还让我们更具灵活性，可以快速在新数据集上进行再训练。

2. 特征工程的必要性

在逻辑回归模型中，并不清楚是否真的需要所有三个变量。在机器学习模型中加入任何变量都会增加过拟合的风险。这遵循简约原则（通常称为奥卡姆剃刀），即如果简单模型和复杂模型的准确率相近，那么更倾向于使用简单模型，模型中的变量越少越好。

简约原则的一个体现是，机器学习模型中的每个新变量都有实际的考量。手动编码的规则系统可以相对容易地处理特定变量值的存在或缺失情况，只需编写新规则即可。而机器学习模型在变量值缺失时需要有足