11、推荐系统的离线与在线性能评估

推荐系统的离线与在线性能评估

1. 基于物品和列表的指标

推荐系统的核心在于为用户推荐他们尚未知晓的事物。若一个推荐系统仅能预测人们的行为，而无法提供新的信息，那么它的实用性就会大打折扣。为了更聚焦于与提升业务目标或客户满意度紧密相关的属性，我们需要考虑以下几个指标：覆盖率、流行度、个性化、意外发现性、多样性、流失率和响应性。这些指标的概述如下表所示：
| 序号 | 指标 | 评估内容 |
| ---- | ---- | ---- |
| 1 | 覆盖率 | 推荐系统能够做出预测的产品百分比 |
| 2 | 流行度 | 用于检查物品流行程度的指标 |
| 3 | 个性化 | 检查系统是否根据个人偏好提供正确产品推荐的度量 |
| 4 | 意外发现性 | 通过推荐帮助用户探索和消费不太流行、意外的物品 |
| 5 | 多样性 | 确定列表中物品之间相似程度的指标 |
| 6 | 流失率 | 衡量推荐系统对用户行为敏感度的指标 |
| 7 | 响应性 | 描述新用户行为对推荐系统影响速度的指标 |

1.1 覆盖率

覆盖率指的是推荐系统能够做出预测的产品百分比。它也可作为从 top - N 端进行比较时的背景指标。覆盖率可分为物品覆盖率和用户覆盖率。物品覆盖率是指推荐中涵盖的物品占总物品数的百分比；用户覆盖率则是指推荐系统能够为其提供推荐列表的用户占总用户数的百分比。而推荐的用户 - 物品对占所有用户 - 物品对的百分比被称为目录覆盖率。

1.2 流行度

流行度是一个简单的指标，可应用于单个推荐或推荐列表的平均值。它以购买或评价该物品的用户百分比来衡