Transformer架构解析
1.输入部分包含:(1)源文本嵌入层及其位置编码器(2)目标文本嵌入层及其位置编码器文本嵌入层的作用无论是源文本嵌入还是目标文本嵌入,都是为了将文本中词汇的数字表示转变为向量表示, 希望在这样的高维空间捕捉词汇间的关系.位置编码器的作用因为在Transformer的编码器结构中, 并没有针对词汇位置信息的处理,因此需要在Embedding层后加入位置编码器,将词汇位置不同可能会产生不同语义的信息加入到词嵌入张量中, 以弥补位置信息的缺失.2.编码器部分:(1)掩码张.
转载
2021-08-07 09:02:26 ·
2645 阅读 ·
0 评论