经典网络—DeiT：高效的数据蒸馏视觉Transformer

经典网络—DeiT：高效的数据蒸馏视觉Transformer

1. 引言

近年来，Transformer 在计算机视觉（CV）领域取得了显著突破。ViT（Vision Transformer）虽然具有出色的性能，但对大规模数据依赖较强，导致训练成本较高。Facebook AI 提出的 DeiT（Data-efficient Image Transformer） 通过 数据蒸馏（Distillation） 方法，显著降低了对大规模数据的依赖，使得 Transformer 在 CV 任务中更高效。

2. DeiT 简介

DeiT 由 Facebook AI 研究团队在论文"Training data-efficient image transformers & distillation through attention"中提出。它主要解决 ViT 需要大量数据预训练 的问题，关键方法包括：

• 数据蒸馏（Distillation through Attention）
• 蒸馏 Token（Distillation Token）
• 高效的训练策略

3. DeiT 关键技术

3.1 数据蒸馏（Distillation through Attention）

传统知识蒸馏（Knowledge Distillation）通常用于 CNN 模型，其中一个训练好的教师