Transformer精选问答

EmbodiedTech

于 2025-03-18 13:08:42 发布

阅读量41

点赞数

分类专栏：大模型人工智能文章标签： transformer 深度学习人工智能

版权

10 篇文章 ¥39.90 ¥99.00

订阅专栏

9 篇文章 ¥39.90 ¥99.00

订阅专栏

Encoder模块
- 经典的Transformer架构中的Encoder模块包含6个Encoder Block.
- 每个Encoder Block包含两个子模块, 分别是多头自注意力层, 和前馈全连接层.
  - 多头自注意力层采用的是一种Scaled Dot-Product Attention的计算方式, 实验结果表明, Mul ti-head可以在更细致的层面上提取不同head的特征, 比单一head提取特征的效果更佳.
  - 前馈全连接层是由两个全连接层组成, 线性变换中间增添一个Relu激活函数, 具体的维度采用4倍关系, 即多头自注意力的d_model=512, 则层内的变换维度d_ff=2048.
Decoder模块
- 经典的Transformer架构中的Decoder模块包含6个Decoder Block.
- 每个Decoder Block包含3个子模块, 分别是多头自注意力层, Encoder-Decoder Attention层, 和前馈全连接层.
  - 多头自注意力层采用和Encoder模块一样的Scaled Dot-Product Attention的计算方式, 最大的区别在于需要添加look-ahead-mask, 即遮掩"未来的信息".
  - Encoder-Decoder Attention层和上一