昇思MindSpore技术公开课-transformer（5）_mindspore高阶技术 pdf-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_44091497/article/details/135684910

本文介绍了如何在已有的Encoder和Decoder基础上，使用MindSpore库实现Transformer模型。作者分享了将这些组件整合的步骤，并表达了对MindSpore的良好学习体验和未来的学习计划。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习总结

在前文实现好的encoder和decoder的基础上实现transformer

学习心得

将实现的Encoder与Decoder组合起来。

class Transformer(nn.Cell):
    def __init__(self, encoder, decoder):
        super().__init__()
        self.encoder = encoder
        self.decoder = decoder
        
    def construct(self, enc_inputs, dec_inputs, src_pad_idx, trg_pad_idx):
        """
        enc_inputs: [batch_size, src_len]
        dec_inputs: [batch_size, trg_len]
        """
        enc_outputs, enc_self_attns = self.encoder(enc_inputs, src_pad_idx)

        dec_outputs, dec_self_attns, dec_enc_attns = self.decoder(dec_inputs, enc_inputs, enc_outputs, src_pad_idx, trg_pad_idx)

        dec_logits = dec_outputs.view((-1, dec_outputs.shape[-1]))

        return dec_logits, enc_self_attns, dec_self_attns, dec_enc_attns