四、如何测试模型在真实数据上的表现

1.对照实验。在实验中设置对照组，为了与即将进行实验的组进行对比，减少实验中一些不确定因素的影响。

将数据分成两部分，实验组和对照组，检验实验组合对照组在统计意义上是否有明显差异

2.观察性实验。在实际研究中，研究者可能无办法去控制一些影响因素，例如：

（1）随机对照实验违反伦理道德。

（2）研究者无法控制因素的发生与否。

（3）在实际应用中可能由于控制因素的成本太大，也可能会采取这种方法

3.离线实验。

步骤：

1. 通过日志系统获得用户行为数据，按照一定的格式生成一个标准的数据集
2. 将数据集按照一定的规则分成训练集的和测试集
3. 在训练集上训练用户兴趣模型，在测试集上进行预测
4. 通过事先定义的离线指标评测算法在测试集上的预测结果

优点：

• 不需要真实用户的参与
• 速度快，可以测试大量算法

缺点：

• 无法计算商业关心的指标，例如点击率、转化率等