「Deep Learning」Note on Do ImageNet Classifiers Generalize to ImageNet

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/87902681

收集和测试集具有相同分布的新测试集，测试发现：
对于CIFAR-10，掉3%-15%，
对于ImageNet，掉11%-14%。
为什么呢？作者认为不是adaptivity的原因，而是模型对更难图像的inability，即比测试集里面图像更难的新测试图像，会严重预测错误。

收获就是尽量收集更难的数据，研究更适用的模型。比如，进行五折或者十折交叉验证，挖掘每一子数据集的最差的10%-20%，针对这部分数据，1、找到模型拟合它们；2、收集这样的数据（医疗影像中的病变数据）。如果发现这些数据人类都无法很好地处理，那么可以将其剔除。

[1] Do CIFAR-10 Classifiers Generalize to CIFAR-10? [paper]
[2] Do ImageNet Classifiers Generalize to ImageNet? [paper]
[3] ImageNet分类器可以泛化到ImageNet上吗？ [link]