tantanweiwei的专栏

图像分类模型是最简单的，也是最基础的计算机视觉任务，应用非常广泛。本文将手把手介绍零基础训练图像分类模型的实践过程。文章主要介绍如何在标注好的数据集基础上，进行微调，使模型能够在新的数据上重新适配一个新的分类任务。

首次提出使用transformer进行分类：把输入图像直接划分为token，位置编码为可学习的token，额外增加一个分类token，最后使用head预测。

由于复杂的注意力机制和模型设计，大多数现有的ViTs在现实的工业部署场景中不能像CNNs那样高效地执行，例如TensorRT和CoreML。视觉神经网络能否设计为与CNN一样快的推理和与ViT一样强大的性能？最近很多工作试图设计CNN-Transformer混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。为了结束这些，本文作者提出了在现实工业场景中有效部署的，即Next-ViT，从延迟/准确性权衡的角度来看，它在CNN和ViT中均占主导地位。