mmmmmm儒丶的博客

论文标题：Pretrained Transformer As Universal Computation Engines - CoRR 2021原文传送门：https://arxiv.org/abs/2103.05247https://arxiv.org/abs/2103.052471. Abstarct作者研究了在语言上预训练的Transformer以最少的微调泛化到其他模态的能力——特别是在没有微调residual blocks (Self-Attn和FFN Layers)的情况下。他们

论文标题：Talking-Heads Attention - Arxiv2020原文传送门：https://arxiv.org/abs/2003.02436​arxiv.orghttps://arxiv.org/abs/2003.02436​arxiv.org1. Abstract & Introduction作者引入了一种MultiHead变种-“talking-heads attention”：在 softmax 之前和之后，跨注意力头维度的引入线性映射。虽然只附加了少量参数