文本分类——搭建Transformer模型

最新推荐文章于 2025-10-20 09:20:14 发布

原创

最新推荐文章于 2025-10-20 09:20:14 发布 · 1.9k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #自然语言处理

本文介绍了如何在Keras中搭建Transformer模型，通过自定义MultiHeadSelfAttention和TransformerBlock层解决IMDB电影评论的情感分类问题，包括了位置嵌入和残差连接的运用。

文本分类——搭建Transformer模型

Keras官方案例链接
 Tensorflow官方案例链接
 Paddle官方案例链接
 Pytorch官方案例链接

本文参考博客有：https://blog.youkuaiyun.com/qq_44574333/article/details/109637755

注：本系列仅帮助大家快速理解、学习并能独立使用相关框架进行深度学习的研究，理论部分还请自行学习补充，每个框架的官方经典案例写的都非常好，很值得进行学习使用。可以说在完全理解官方经典案例后加以修改便可以解决大多数常见的相关任务。

摘要：搭建Transformer模型解决文本分类问题

1 Description

简介：搭建Transformer作为Keras的一个层，并用它解决文本分类问题

2 Setup

导入所需包

#! -*- coding: utf-8 -*-
from __future__ import print_function
from keras import backend as K
from keras.engine.topology import Layer

from keras.preprocessing import sequence
from keras.datasets import imdb
from keras.layers import Embedding, Dropout, Dense
from keras.models import Sequential
from keras.layers.normalization import BatchNormalization
from keras.models import Model
from keras.layers import *
from keras_layer_normalization import LayerNormalization

3 Implement multi head self attention as a Keras layer
实现Multi-head self-attention作为Keras的一个层

在此，Fig1 给出Transformer整体结构图，Fig2 给出了一个示例图，对于Transformer忘记或者不熟悉的读者可以学习理论部分，在此给大家推荐一个笔者读过或听过的Transformer理论讲解最清楚的一节课

李宏毅老师的机器学习——Transformer模型

听完这节课，再配合食用代码更佳

在这里插入图片描述
Fig1 Transformer整体结构图

在这里插入图片描述

Fig2 Transformer示例图

在下面代码中值得注意的是：

MultiHeadSelfAttention：所谓多头attention就是多个self-attention，而self-attention= softmax(QK)V / np.sqrt(V)
tf.transpose(attention, perm=[0, 2, 1, 3]):在下面代码中有诸多transpose操作，是为了之后的矩阵乘法形状匹配

class MultiHeadSelfAttention(Layer):
    def __init__(self, nb_head, size_per_head, **kwargs):
        self.nb_head = nb_head
        self.size_per_head = size_per_head
        self.output_dim = nb_head * size_per_head
        super(MultiHeadSelfAttention, self).__init__(**kwargs)

    def build(self, input_shape):
        self.WQ = self.add_weight(name='WQ',
                                  shape=(input_shape[0][-1], self.output_dim),