Transformer
关注
分享
扫一扫
文章平均质量分 94
Transformer相关论文精读和知识拓展：Transformer、BERT、GPT系列、LLaMa系列、ViT、MAE、DETR系列等。
Donvink
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Transformers在计算机视觉领域中的应用【第3篇：Swin Transformer——多层次的Vision Transformer】
Swin Transformer是一个用了移动窗口的的层级式Vision Transformer，移动窗口是这篇论文的主要贡献。Swin Transformer实际上就是想着让ViT像卷积神经网络一样，也能够分成几个block，也能做这种层级式的特征提取，这样提取出来的特征有多尺度的概念。Swin Transformer相关的模型当年霸榜视觉检测榜前十。原创 2024-12-05 00:03:07 · 1172 阅读 · 0 评论 -
Transformers在计算机视觉领域中的应用【第2篇：MAE——BERT的CV版本】
MAE是基于ViT的，将整个训练拓展到没有标号的数据上面，和BERT一样，通过完形填空来获取对图片的理解。MAE不是第一个将BERT拓展到CV上的工作，但是它很有可能是这一系列工作之中未来影响最大的一篇。因为BERT极大地加速了Transformer这个架构在NLP领域中的应用，所以MAE也会使得Transformer在CV上的应用更加普及一些。原创 2024-12-02 22:05:25 · 1558 阅读 · 0 评论 -
Transformers在计算机视觉领域中的应用【第1篇：ViT——Transformer杀入CV界之开山之作】
本文详细介绍了ViT的模型结构、前向过程、思考和结论。原创 2024-12-01 22:21:39 · 985 阅读 · 0 评论