24、实验数据的异质处理效果：提升模型之旅

实验数据的异质处理效果：提升模型之旅

在处理实验数据时，我们常常使用各种模型来评估处理效果。不同模型在训练时间、性能评估等方面存在差异，下面将详细介绍相关内容。

模型训练时间对比

在一个三级处理场景中，使用相同的数据集、相同的基础估计器和默认超参数对多个模型进行训练。以 S-Learner 为基准，各模型训练时间如下：
| 模型名称 | 训练时间（相对于 S-Learner） |
| ---- | ---- |
| S-Learner | 1x |
| T-Learner | 2x |
| Causal Forest with DML | 39x |

例如，如果 S-Learner 训练需要 20 分钟，那么 Causal Forest 则需要 13 小时。在设计生产级系统时，计算成本是一个重要因素，对于非常大的数据集，Causal Forest with DML 可能会因为成本过高而不适用，尤其是在进行超参数调优时。

提升模型的性能评估指标

有许多评估提升模型的指标，以下是一些常见的指标：
- Qini 系数 ：基于实际模型的 Qini 曲线与随机模型的 Qini 曲线的比较，是一个单标量的模型质量总结。Qini 曲线显示了按处理单元数量缩放的正结果累积数量。
- 提升曲线下面积（AUUC） ：测量累积提升曲线下的面积。在 y 轴上绘制提升，在 x 轴上绘制按模型预测排序的观察单元的百分比（样本大小的累积百分比），然后计算曲线下的面积。

这两个指标最初是为二元处理和二元结