transformer Decoder每次都是进入一个单词做自注意力后,再与encoder输入的所有单词张量做交互注意力

Transformer的Decoder在生成输出时采用自注意力和交互注意力机制,自注意力处理已生成单词间的上下文关系,交互注意力则融合输入序列信息。逐词生成过程中,考虑了上下文和输入的交互,确保输出序列的质量和相关性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

是的,Transformer的Decoder在生成输出序列的每个单词时,会先对该单词进行自注意力(Self-Attention)处理,然后再与Encoder的输出进行交互注意力(Encoder-Decoder Attention)处理。

具体过程如下:

  1. 自注意力(Self-Attention)
    • Decoder会接收当前要生成的单词的位置对应的嵌入向量(embedding)作为输入。
    • 这个嵌入向量会加上位置编码(positional encoding),以保留序列中的位置信息。
    • 然后,Decoder会使用自注意力机制来处理这个输入向量,考虑该单词与已经生成的单词之间的关系。
    • 自注意力机制会输出一个表示当前单词在已生成序列中上下文关系的向量。
  2. 交互注意力(Encoder-Decoder Attention)
    • 在进行自注意力之后,Decoder会进行交互注意力处理。
    • 在这一步中,Decoder会利用Encoder输出的编码信息(即Encoder对输入序列的处理结果)。
    • Decoder会使用自注意力输出的向量作为查询(Query),而Encoder的输出将作为键值对(Key-Value)的来源。
    • 通过计算查询与键的相似度,Decoder可以得到一个注意力权重分布,然后根据这个分布对值进行加权求和,得到一个上下文向量。
    • 这个上下文向量包含了输入序列中与当前生成单词最相关的信息。
  3. <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值