大脸猫的博客

前言刚开始学习Transformer / ViT的时候会发现为什么作者会将Position Encoding直接和Feature Embedding相加？当时的第一反应是，为什么不是concat，因为两者分明是两种异构的信息，为什么能放在一起相加呢？不应该concat才合理么？最近对一些工作做收尾的时候发现了这个后来被我遗漏的问题。（如果不知道Position Encoding是啥的建议先去阅读一下原论文）问题从向量空间的角度来看，我原本有一个Feature Embedding向量矩阵，我再加上

前言Transformer的初衷是借助多头注意力机制解决seq2seq在机器翻译中对长距离上下文翻译不准确的问题，因为seq2seq中的encoder对任意句子只能给出一个固定的size表征，而这个表征在遇到长句时会显得包含的信息量不够。ViT的标题中的“AN IMAGE IS WORTH 16X16 WORDS”可以看出，ViT将图片分割为固定数量的patches，每个patch都视作一个token，同时引入了多头自注意力机制去提取包含了关系信息的特征信息。阅读本文须知为高效阅读本文，建议

背景自 DETR 与 Vision Transformer 分别从 ECCV 2020 和 ICLR 2021 横空出世，ViT的各类Variants也随之诞生。那么目前ViT们的发展状况如何呢？今天，小编就带你一探究竟。开山之作 —— Vision Transformer我们都知道，Transformer的初衷是借助多头注意力机制解决seq2seq在机器翻译中对长距离上下文翻译不准确的问题，因为seq2seq中的encoder对任意句子只能给出一个固定的size表征，而这个表征在遇到长句时会显

论文作者单位：美团，阿德莱德大学 Arxiv:http://arxiv.org/abs/2104.13840 Github:https://github.com/Meituan-AutoML/Twins（分类、分割代码及模型均已开源）———————————————背景AI大类顶会 Neurl 2021 总共接收到来自全球的9122篇论文，录用率26%（大概2371篇左右）。对于NLP而言，Transformer的地位自然是无可撼动的；对于CV而言，自 DETR 与 Vision ...