前面讲解了这么多推荐系统的算法,但是一个推荐系统做出来之后,我们并不知道其效果怎么样,这种时候,就需要对推荐系统进行测评,来告诉我们这个推荐的性能和效果怎么样。测评一般包括测评指标和测评维度。
测评指标
评测指标可用于评价推荐系统各方面的性能,这些指标有些可以定量计算,有些只能定性描述,有些可以通过离线实验计算,有些需要通过用户调查获得,还有些只能在线评测。一般情况下使用如下:
1. 用户满意度
用户作为推荐系统的重要参与者,其满意度是评测推荐系统的最重要指标。但是,用户满意度没有办法离线计算,只能通过用户调查或者在线实验获得。
2. 准确度
预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力。这个指标是最重要的推荐系统离线评测指标。由于离线的推荐算法有不同的研究方向,因此下面将针对不同的研究方向介绍它们的预测准确度指标。
- 评分预测
评分预测的预测准确度一般通过均方根误差(RMSERMSERMSE)和平均绝对误差(MAEMAEMAE)计算。对于测试集中的一个用户 uuu 和物品 iii,令 ruir_{ui}rui 是用户 uuu 对物品 iii 的实际评分,而 rui^\widehat {
{r_{ui}}}rui
是推荐算法给出的预测评分,那么 RMSERMSERMSE 的定义为:
RMSE=∑u,i∈T(rui−rui^)2∣T∣RMSE = \frac{
{\sqrt {\sum\nolimits_{u,i\in T} {
{
{({r_{ui}} - \widehat {
{r_{ui}}})}^2}} } }}{
{|T|}}RMSE=∣T∣∑u,i∈T(r