transformer 基础知识

思想在拧紧

于 2025-02-12 20:53:23 发布

阅读量306

点赞数 4

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： transformer 深度学习 seq2seq encoder decoder

本文链接：https://blog.youkuaiyun.com/what_how_why2020/article/details/145599765

概要：简要记录 Encoder-Decoder 架构、seq2seq 模型、Attention 机制

Encoder & Decoder

encoder 接收输入，生成一个固定长度的上下文向量（编码器生成的最终隐藏状态）；decoder 接收上下文向量（或状态）+输入，获得输出。

编码器-解码器架构

缺点：上下文长度固定，导致丢失信息。

代码实现

form torch import nn

class Encoder(nn.Module):
    """编码器接口"""
    def __init__(self, **kwargs):
        super(Encoder, self).__init__(**kwargs)
    def

最低0.47元/天解锁文章