16、营销模型评估：准确性、精度与分离度的综合考量

营销模型评估：准确性、精度与分离度的综合考量

1. 引言

在营销领域，评估模型的分类或预测准确性至关重要。常用的十分位分析方法可用于此评估，但其实还能从中提取更多信息来完善模型评估。接下来将介绍模型评估的两个新概念——精度和分离度，并结合十分位分析进行说明。

2. 响应模型准确性

2.1 传统准确性衡量指标

传统上，响应模型的准确性用总正确分类比例（PTCC）衡量，它通过简单的交叉表计算得出。例如，一个响应模型对100个个体的验证样本进行分类，其中实际非响应者85人，响应者15人。模型预测非响应者76人，响应者24人，正确分类的非响应者74人，响应者13人。则PTCC为(74 + 13) / 100 = 87%。

不过，PTCC并非适用于所有情况。若评估标准对误分类有惩罚，就需修改或更换更合适的指标。

2.2 营销领域的准确性衡量指标——累积提升度（Cum Lift）

营销人员使用响应模型来识别最可能响应请求的个体，创建目标名单以获得优于随机选择的效果。累积提升度表示基于模型选择比随机选择能多获得的响应数量。具体而言，它是基于模型选择的预期响应率与随机选择的预期响应率之比。

3. 利润模型准确性

3.1 预测准确性衡量指标

利润模型预测个体利润值的准确性有多种衡量指标，都基于误差概念（实际利润 - 预测利润）。常见的有：
- 均方误差（MSE） ：个体平方误差的均值，对大误差更敏感，可能低估模型预测准确性。
- 平均百分比误差（MPE）