17、营销中的自助法：验证模型的新方法

营销中的自助法：验证模型的新方法

1. 引言

传统的营销模型验证方法使用保留样本，即那些未参与模型构建的个体数据。然而，除非采用重采样方法，否则验证结果可能存在偏差且不完整。本文将指出传统验证方法的弱点，并介绍一种自助法（Bootstrap），用于验证响应模型和利润模型，同时评估模型的效率。

2. 传统模型验证

在构建营销模型时，数据分析师首先会将原始数据文件随机拆分为两个互斥的部分：校准样本用于构建模型，验证样本（保留样本）用于评估模型的可靠性。但这种拆分存在运气成分，如果拆分得到的保留样本具有良好特性，可能会得到比真实情况更乐观的验证结果；反之，则会得到更悲观的结果。而且，即使验证样本能真实反映研究总体，单个样本也无法提供变异性的度量，分析师难以对验证结果给出置信水平。

总之，传统的单样本验证既不能保证结果无偏差，也无法提供结果的置信度。下面以响应模型（RM）为例进行说明，但这些结论同样适用于利润模型。

3. 示例

营销人员通常使用十分位分析中的累积提升度（Cum Lift）来评估模型的优劣。模型验证就是比较校准样本和保留样本十分位分析中的累积提升度。一般来说，保留样本的累积提升度会比校准样本的小，这是因为校准样本的累积提升度可能会受到样本特性的影响。如果累积提升度的收缩和其值本身都可接受，那么模型就被认为验证成功，可以使用；否则，需要重新调整模型，直到验证成功。

假设有一个响应模型，基于 181,100 个客户的样本进行验证十分位分析，总体响应率为 0.26%。例如，最高十分位的累积提升度为 186，这意味着使用该模型向最高十分位（即模型识别出的前 10%客户）进行营销时，预期响应者数量