- 博客(15)
- 收藏
- 关注
原创 Transformer详解encoder
最近刚好梳理了下transformer,今天就来讲讲它~Transformer是谷歌大脑2017年在论文attention is all you need中提出来的seq2seq模型,它的本质就是由编码器和解码器组成,今天的主角则是其中的编码器(在BERT预训练模型中也只用到了编码器部分)如下图所示,这个模块的输入为 𝑋 (每一行代表一个句子,batchsize有多大就有多少行),我们将从输入到隐藏层按照从1到4的顺序逐层来看一下各个维度的变化。
2024-07-05 19:35:39
1355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人