文章探讨了CNN与Transformer结合的模型，如ViT，强调其在大量数据集上的SOTA性能。CNN擅长特征提取，Transformer则用于捕捉依赖关系。研究还提及了VisualTransformers和CvT等改进版Transformer结构，融入卷积层以提升图像处理能力。
CNN+Transformer的模型可参考ViT模型，注意，此模型是基于大量数据集基础上才达到SOTA的（15M-300M时才能体现出模型的优势），数据量较少时效果不佳。
（1）CNN特征提取能力强，transformer可以更好的获取依赖关系。通过token的方式将CNN提取的特征转化，使用transformer进行分类。例如：Visual Transformers: Token-based Image Representation and Processing for Computer Vision论文
（2）修改Transformer基本结构，添加多个卷积单元，提取图像特征。例如论文：CvT: Introducing Convolutions to Vision Transformers
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
