什么是图像分类的Top-5错误率?
top1就是你预测的label取最后概率向量里面最大的那一个作为预测结果,你的预测结果中概率最大的那个类必须是正确类别才算预测正确。而top5就是最后概率向量最大的前五名中出现了正确概率即为预测正确。
主要是ImageNet数据集Label有一定的误差,很多图片人类看来可以归为好几个类,所以就用top-5当一个重要的评测标准.
top-5 错误是指正确label不在model预测的前五个答案当中
ImageNet
ImageNet
项目是一个用于物体对象识别检索大型视觉数据库。截止2016年,ImageNet
已经对超过一千万个图像的url进行手动注释,标记图像的类别。在至少一百万张图像中还提供了边界框。自2010年以来,ImageNet
举办一年一度的软件竞赛,叫做 ImageNet 大尺度视觉识别挑战(ImageNet Large Scale Visual Recognition Challenge,ILSVRC)。主要内容是通过算法程序实现正确分类和探测识别物体与场景,评价标准就是Top-5
错误率。
ILSRVRC
ILSRVRC(ImageNet 图像分类大赛) 比赛设置如下:
1000类图像分类问题,训练数据集126万张图像,验证集5万张,测试集10万张(标注未公布)。
评价标准采用 top-5 错误率——即对一张图像预测5个类别,只要有一个和人工标注类别相同就算对,否则算错。
近几年ILSRVRC 比赛结果如下表所示:
结果公布时间 | 机构 | top-5错误率(%) | 方法 |
---|---|---|---|
2015.2.11 | 4.82 | http://arxiv-web3.library.cornell.edu/abs/1502.03167 | |
2015.2.6 | MSRA | 4.94 | http://arxiv.org/abs/1502.01852 |
2015.2.6 | Baidu | 5.33 | http://arxiv.org/abs/1501.02876 |
2015.1.13 | Baidu | 5.98 | —— |
2014.8.18 | 6.66 | http://arxiv.org/abs/1409.4842 | |
2014.8.18 | Oxford | 7.33 | http://arxiv.org/abs/1409.1556 |
2013.11.14 | NYU | 11.7 | http://arxiv.org/abs/1311.2901 |
2012.10.13 | U.Toronto | 16.4 | http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf |