经典网络系列
关注
分享
扫一扫
文章平均质量分 86
经典网络系列
DoYangTan
双非保研至浙大
HBU-->ZJU
展开
-
经典网络—DeiT：高效的数据蒸馏视觉Transformer
DeiT 由 Facebook AI 研究团队在论文中提出。它主要解决ViT 需要大量数据预训练数据蒸馏（Distillation through Attention）蒸馏 Token（Distillation Token）高效的训练策略。原创 2025-02-27 10:30:15 · 835 阅读 · 0 评论 -
经典网络—CCT：紧凑型卷积Transformer
CCT 由论文提出。使用卷积进行 Patch 嵌入，避免了 ViT 直接线性投影的高计算成本。移除位置编码，改为利用卷积的局部感受野特性。层归一化替换为批归一化，提高训练稳定性。可适用于小规模数据集，例如 CIFAR-10、CIFAR-100 等。原创 2025-02-27 10:31:16 · 760 阅读 · 0 评论 -
经典网络—Twins-SVT：高效混合 Transformer
Twins-SVT 由论文使用两阶段注意力机制（局部注意力 + 全局注意力），减少计算成本。分层设计（类似 ResNet），提高特征提取能力。高效建模长距离依赖，适用于高分辨率图像。原创 2025-02-27 10:32:26 · 869 阅读 · 0 评论