对推荐系统排序(Rank)评价指标的理解?

1、1.Mean Average Precision (MAP)

可能大家接触比较多的是MAP,MAP考虑的是0和1的排序。
AP=∑j=1niP(j).yi,j∑j=1niyi,jAP=\frac{\sum_{j=1}^{n_{i}}P(j).y_{i,j}}{\sum_{j=1}^{n_{i}}y_{i,j}}AP=j=1niyi,jj=1niP(j).yi,j
其中yi,jy_{i,j}yi,j:排序中第j个元素对于查询i是否是相关的;相关为1,不相关为0。
P(j)=∑k:πi(k)≤πi(j)y(i,k)πi(j)P(j)=\frac{\sum_{k:\pi_{i}(k)\le\pi_{i}(j)}y(i,k)}{\pi_{i}(j)}P(j)=πi(j)k:πi(k)πi(j)y(i,k)
其中πi(j)\pi_{i}(j)πi(j)为j的排序位置。
例如,
rank_no    是否相关
1        1
2        0
3        1
4        0
5        1
6        0
则根据AP计算公式:
AP=(1∗1+(1/2)∗0+(2/3)∗1+(2/4)∗0+(3/5)∗0+(3/6)∗0)/3=…AP = (1*1 + (1/2) *0+ (2/3)*1 + (2/4)*0 + (3/5)*0 + (3/6)*0) /3 = …AP=(11+(1/2)0+(2/3)1+(2/4)0+(3/5)0+(3/6)0)/3=

举例,第一项,P(1) = 它前面的项(包括自己)相关的个数除所在排序的位置(也就是1)。第一位及前面(前面没有)相关的个数就是它本身,所以P(1)的分子就是1,分母也是1.所以取值为1。同时y值为1.最终的对应AP中的项就是1
其他以此类推。
AP的最大值为1(也就是当相关的全部排在不相关的前面的时候)
MAP就是对所有query的AP求平均。

2.Mean Reciprocal Rank (MRR)
MRR=1∣Q∣∑i=1∣Q∣1rankiMRR=\frac{1}{|Q|}\sum_{i=1}^{|Q|}\frac{1}{rank_{i}}MRR=Q1i=1Qranki1
其中|Q|是查询个数,ranki是第i个查询,第一个相关的结果所在的排列位置。
举例:
在这里插入图片描述
对于三个查询,每个查询的ranki分别为3、2、1。所以,
MRR=1/3∗(1/3+1/2+1/1)MRR=1/3∗(1/3+1/2+1/1) MRR=1/3(1/3+1/2+1/1)

3.NDCG

NDCG是考虑到评分的排序。
说到NDCG就需要从CG开始说起。
CG(cumulative gain,累计增益可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品,这个推荐列表的CGkCG_{k}CGk计算公式如下:

CGk=∑i=1kreliCG_{k}=\sum_{i=1}^{k}rel_{i}CGk=i=1kreli
relirel_{i}reli表示第k个物品的相关性或者评分。假设我们共推荐k个电影,relirel_{i}reli可以是用户对第i部电影的评分。

比如豆瓣给用户推荐了五部电影,

M1,M2,M3,M4,M5M_{1},M_{2},M_{3},M_{4},M_{5}M1,M2,M3,M4,M5

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的CG等于
CG5=5+3+2+1+2=13CG_{5}=5+3+2+1+2=13CG5=5+3+2+1+2=13
CG没有考虑推荐的次序,在此基础之后我们引入对物品顺序的考虑,就有了DCG(discounted CG),折扣累积增益。公式如下:

DCGk=∑i=1k2reli−1log2(i+1)DCG_{k}=\sum_{i=1}^{k}\frac{2^{rel_{i}}−1}{log_{2}(i+1)}DCGk=i=1klog2(i+1)2reli1
比如豆瓣给用户推荐了五部电影,

M1,M2,M3,M4,M5M_{1},M_{2},M_{3},M_{4},M_{5}M1,M2,M3,M4,M5

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的DCG等于
DCG5=25−1log22+23−1log23+22−1log24+21−1log25+22−1log26=31+4.4+1.5+0.4+1.2=38.5DCG_{5}=\frac{2^5−1}{log_{2}2}+\frac{2^3−1}{log_{2}3}+\frac{2^2−1}{log_{2}4}+\frac{2^1−1}{log_{2}5}+\frac{2^2−1}{log_{2}6}=31+4.4+1.5+0.4+1.2=38.5DCG5=log22251+log23231+log24221+log25211+log26221=31+4.4+1.5+0.4+1.2=38.5
DCG没有考虑到推荐列表和每个检索中真正有效结果个数,所以最后我们引入NDCG(normalized discounted CG),顾名思义就是标准化之后的DCG。

NDCGk=DCGkIDCGkNDCG_{k}=\frac{DCG_{k}}{IDCG_{k}}NDCGk=IDCGkDCGk
其中IDCG是指ideal DCG,也就是完美结果下的DCG。

继续上面的例子,如果相关电影一共有7部

M1,M2,M3,M4,M5,M6,M7M_{1},M_{2},M_{3},M_{4},M_{5},M_{6},M_{7}M1,M2,M3,M4,M5,M6,M7
该用户对这七部电影的评分分别是

5, 3, 2, 1, 2 , 4, 0

把这7部电影按评分排序

5, 4, 3, 2, 2, 1, 0

这个情况下的完美DCG是
IDCG5=25−1log22+24−1log23+23−1log24+22−1log25+22−1log26=31+9.5+3.5+1.3+1.2=46.5IDCG_{5}=\frac{2^5−1}{log_{2}2}+\frac{2^4−1}{log_{2}3}+\frac{2^3−1}{log_{2}4}+\frac{2^2−1}{log_{2}5}+\frac{2^2−1}{log_{2}6}=31+9.5+3.5+1.3+1.2=46.5IDCG5=log22251+log23241+log24231+log25221+log26221=31+9.5+3.5+1.3+1.2=46.5
所以
NDCG5=DCG5IDCG5=38.546.5=0.827NDCG_{5}=\frac{DCG_{5}}{IDCG_{5}}=\frac{38.5}{46.5}=0.827NDCG5=IDCG5DCG5=46.538.5=0.827
NDCG是0到1的数,越接近1说明推荐越准确。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值