【Timm】搭建Vision Transformer系列实践，终于见面了，Timm库！

前言：工具用不好，万事都烦恼，原本真的就是很简单的一个思路实现，偏偏绕了一圈又一圈，今天就来认识认识Timm库吧！

目录

1.百度飞桨提供的-从零开始学视觉Transformer

2.资源：视觉Transformer优秀的开源工作

3.如何发现的Timm-Debug

4 Timm库

4.1 概念

4.2 Timm库的Vision Transformer活用

4.2.1 vision_transformer.py参数解读 

4.2.2 Timm库的调用搭建Vision Transformer

---

目前，pytorch的知名度就不用说了，vision transformer的知名度，懂的都懂。其实，自己搭建vision transformer原本就是我的初衷，奈何资料根本就是无从下手，主要就是活用问题。今天，突然发现，也没想有想象中那么糟糕，从前人的实验中，还是由迹可寻的。

先放初步学习时候看的一些手把手搭建transformer框架理念和实践的资源：

1.百度飞桨提供的-从零开始学视觉Transformer

理论还是比较详细的，代码实践则是构建在百度子的paddle库上，与pytorch有所区别，但本意还是不变的。

课程：从零开始学视觉Transformer

实践地址：BR-IDL/PaddleViT: PaddleViT: State-of-the-art Visual Transformer and MLP Models for PaddlePaddle 2.0+ (github.com)

Paddle-Pytorch API对应表：paddle pytorch 对照

2.资源：视觉Transformer优秀的开源工作