transformer在视觉任务中注意事项

发展史：

目录

1.Vit
2.Detr

Vit [1]

一. 问题：
*：以下针对的是图像分类。

1. CNN为什么有效？
   CNN实现了空间局部性、平移等边性两个功能，极大帮助了模型提取。
   *：平移等边性在OD中并不适用，因为OD任务中特征包含了位置特征不能一概而论，更改位置后，特征数据必变。

2. Transformer为什么有效？
   Transformer，分为多个patch，其实是不利于空间局部性和平移等边性两个功能的。那为什么他会有效呢？我们从这两个特性的角度进行分析。

二.GPT的分析：

1. ViT模型的设计特点

   • 自注意力机制（Self-Attention）：** ViT模型的核心是Transformer架构，它使用自注意力机制来捕捉图像中任意位置的全局依赖关系。这意味着ViT模型在处理长距离依赖时非常强大，但它不具备CNN的内在特性，如平移等变性和空间局部性。
   • 平移等边性和空间局部性：** CNN通过卷积核在图像上滑动，天然具备平移等边性，即图像中某个特征在不同位置被检测时，卷积核的响应是相同的。此外，CNN倾向于首先捕获局部特