Transformer详解

已于 2022-07-04 09:58:03 修改
阅读量447 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： transformer 深度学习 自然语言处理
于 2022-07-01 12:01:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43752912/article/details/125555076
本文介绍Transformer模型的基本结构，包括Encoder和Decoder的组成与工作原理，并详细解释了位置编码的作用及多头注意力机制的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer全局概括

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意:

  1. Encoder和Decoder的个数可以自己决定，Encoder之间的结构是相同的，Decoder之间的结构是相同的，但是Encoder和Decoder之间的结构是不相同的
  2. Encoder之间的结构是完全相同的，但是参数是完全不同的，训练的时候是6个Encoder都在训练
    在这里插入图片描述
    Encoder
    在这里插入图片描述
    Decoder
    在这里插入图片描述

位置编码

在这里插入图片描述

  1. Embedding
    将输入的句子切分成字，每个字定义一个512维的字向量
    在这里插入图片描述
  2. 位置编码
    对于RNN的输入参数u,隐藏参数w，输出参数v，在所有的timestamps，RNN都共享一套参数，更新的时候也是更新整套参数。
    在这里插入图片描述
    RNN是串行化处理，Transformer可以并行化，所有单词可以一起处理，但是忽略了单词间的序列关系（先后关系），这个时候就需要位置编码
    在这里插入图片描述
    将位置编码（512维度）和字向量（512维度）相加，得到最终的Transformer的输入
    在这里插入图片描述
    在这里插入图片描述

多头注意力机制

在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值