Scalable Pre-training of Large Autoregressive Image Models

本文是LLM系列文章，针对《Scalable Pre-training of Large Autoregressive Image Models》的翻译。

摘要

本文介绍了AIM，这是一组用自回归目标预训练的视觉模型。这些模型的灵感来源于它们的文本对应物，即大型语言模型（LLM），并表现出类似的缩放特性。具体而言，我们强调了两个关键发现：（1）视觉特征的性能与模型容量和数据量有关，（2）目标函数的值与模型在下游任务上的性能相关。我们通过在20亿张图像上预训练70亿个参数AIM来说明这些发现的实际意义，该AIM在具有冻结主干的ImageNet1k上实现84.0%。有趣的是，即使在这种规模下，我们也没有观察到性能饱和的迹象，这表明AIM可能代表了训练大规模视觉模型的新前沿。AIM的预训练类似于LLM的预训练，并且不需要任何特定于图像的策略来稳定大规模的训练。

1 引言

2 相关工作

3 预训练数据集

4 方法

5 结果

6 讨论

在本文中，我们提出了一种简单且可扩展的方法