fyh2944163240的博客

这个小例子是基于pytorch以及Transformer模型实现的机器翻译案例。先简单介绍 一下，这里并没有用什么大型的数据集，而是手动输入了两对德语->英语的句子，这里主要是为了突出模型实现本身。数据预处理Positional Embedding实现Mask实现根据Q，K和V计算出注意力以及加权求和后的值（点积运算封装）Multi-Head Attention实现Feed Forward实现一个Encoder Layer实现Encoder实现。

Transformer模型笔记Encoder-Decoder架构Attention模型Attention的原理Attention机制的本质思想Attention优缺点Self-Attention模型Transformer原理Transformer整体结构Transformer的inputs输入Transformer的EncoderTransformer的DecoderTransformer Decoder的输入基于Encoder-Decoder的Multi-Head Attention。