2023_NIPS_Does progress on ImageNet transfer to real-world datasets?

文章核心总结与翻译

主要内容

文章核心探讨ImageNet预训练模型的性能提升是否能迁移到真实世界数据集。研究选取6个非网络爬取的真实场景数据集（涵盖动物监测、医疗诊断、卫星图像分类等），测试19种不同ImageNet精度（57%-83%）的模型后发现：6个数据集中有4个未从VGG之后的架构改进中获得显著收益，仅Caltech Camera Traps-20和Human Protein Atlas数据集有一定提升；数据增强、额外训练数据等任务特定干预，比单纯采用最新ImageNet架构更能提升性能；ImageNet精度对网络爬取数据集的迁移预测性强，但对真实世界数据集效果有限。

创新点

1. 聚焦非网络爬取的真实世界数据集，填补了此前研究多依赖网络爬取基准数据集的空白，更贴近实际应用场景。
2. 系统验证了ImageNet架构优化的迁移局限性，发现任务特定干预（如数据增强）的重要性，挑战了“ImageNet性能提升即代表通用能力进步”的固有认知。
3. 提出以多真实世界数据集的平均精度作为表征学习研究的基准，为未来基准测试设计提供新方向。

---

翻译部分（Markdown格式）

Abstract

ImageNet上的进展能否迁移到真实世界数据集？我们通过在6个实际图像分类数据集上评估不同精度（57%-83%）的ImageNet预训练模型，对这一问题展开研究。具体而言，