PB10210016 徐波-第六次作业
Chp.7 Evaluation (10.22)
系统&查询 |
1 |
2 |
3 |
4 |
5 |
S1,Q1 |
d3 |
d5 |
d8 |
d10 |
d11 |
S1,Q2 |
d1 |
d2 |
d7 |
d11 |
d13 |
S2,Q1 |
d6 |
d7 |
d2 |
d9 |
d8 |
S2,Q2 |
d1 |
d2 |
d4 |
d11 |
d14 |
假设现在有2个检索系统S1和S2,它们在文档集上分别执行查询Q1和Q2,均返回了5个结果,如下表所示:
设Q1的相关文档为{d3,d6,d7,d8},Q2的相关文档为{d1,d4,d11}
分别计算S1和S2对于查询Q1和Q2的正确率P、召回率R、F值、P@4和平均正确率AP,并计算S1和S2在所有查询上的MAP值
解答:
系统&查询 |
RR |
RN |
NR |
NN |
正确率P |
召回率R |
F值 |
P@4 |
平均正确率AP |
S1,Q1 |
2 |
3 |
2 |
|
0.400 |
0.500 |
0.444 |
1/2 |
5/6 |
S1,Q2 |
2 |
3 |
1 |
|
0.400 |
0.667 |
0.500 |
1/2 |
3/4 |
S2,Q1 |
3 |
2 |
1 |
|
0.600 |
0.750 |
0.667 |
1/2 |
13/15 |
S2,Q2 |
3 |
2 |
0 |
|
0.600 |
1.000 |
0.750 |
3/4 |
29/36 |
S1的MAP值:5/6+3/4=19/24 约为0.7917
S2的MAP值:13/15+29/36=301/360 约为0.8361
PB10210016 徐波
欢迎各位吐槽。