17、数据驱动的营销模型评估与个性化推荐策略

数据驱动的营销模型评估与个性化推荐策略

1. 模型评估与 A/B 测试

在评估不同模型或群体的性能时，可视化是一种很好的方法。但为了验证这些差异是否具有统计学意义，需要进行 t 检验。

1.1 双尾 t 检验

Python 中的 scipy 包提供了一个方便的工具来计算双尾 t 检验的 t 值和 p 值。以下是检查 A 组和 B 组之间转化率和错失机会率差异的统计显著性的代码：

from scipy.stats import ttest_ind

t, p = ttest_ind(a_cum_conv_rates, b_cum_conv_rates)
print(
    f"Conversion Rate Difference Significance -- t: {t:.3f} & p: {p:.3f}"
)
t, p = ttest_ind(a_missed_opp_rates, b_missed_opp_rates)
print(
    f"Missed Opportunity Rate Difference Significance -- t: {t:.3f} & p: {p:.3f}"
)

要安装 scipy ，可以在终端运行以下命令：

pip install scipy

1.2 结果分析

• 转化率 t