pytorch实现IMDB数据集情感分类（全连接层的网络、LSTM）

目录

 

一、任务描述

二、思路分析

三、准备数据集

3.1 基础dataset的准备

3.2 文本序列化

四、构建模型

4.1 仅有全连接层

4.2 LSTM

4.3 训练和测试

五、完整代码

5.1 全连接层实现分类完整代码

5.2 LSTM分类完整代码

5.3 测试结果

---

一、任务描述

使用Pytorch相关API，设计两种网络结构，一种网络结构中只有全连接层，一种使用文本处理中最为常用的LSTM，将数据集进行10分类，观察并对比两者的分类效果。

模型情感分类的数据集是经典的IMDB数据集，数据集下载地址：http://ai.stanford.edu/~amaas/data/sentiment/。这是一份包含了5万条流行电影的评论数据，其中训练集25000条，测试集25000条。数据格式如下：

数据的标签以文件名的方式呈现，图中左边为名称，其中名称包含两部分，分别是序号和情感评分，即序号_情感评分。情感评分中1-4为neg，5-10为pos，共有10个分类。右边为文件中的评论内容。每个文件中文本长度不一定相等。

数据集的组织形式如下：

下载完数据集，在aclImdb文件夹中，有如下文件：

train和test分别表示训练数据和测试数据所在的文件夹，其中文件夹中的内容如下：

随意点开一个neg/pos，文件夹中都是txt文件，每个文件代表一条样本数据：

这些路径在后续写代码的过程中都会用得到，因为需要根据路径来读取每个txt文件。

 

二、思路分析

具体可以细分为如下几步：

1. 准备数据集，实例化dataset，准备dataloader，即设计一个类来获取样本

2. 构建模型，定义模型多少层、形状变化、用什么激活函数等

3. 模型训练，观察迭代过程中的损失

4. 模型评估，观察分类的准确率

这里再着重考虑一下评论文本该怎么表示：首先评论的文本需要分词处理，处理成一个个单词，但是由于评论有长有短，所以这里需要统一长度，假设每条评论文本都有max_len个词，比50个词长的文本进行截取操作，比50个词短的文本则填充到50。接着是关于词的表示，我们用word embedding，即词向量的形式表示一个词，词向量的维度是embedding dim。这里词向量是调用pytorch中nn.Embedding方法实现的，按照给定的词向量的维度，该方法会给每个词一个随机的词向量，当然这种方法的词向量肯定不太好，nn.Embedding方法还可以加载预训练好的词向量，比如glove，word2vec等，感兴趣的可以尝试一下。

nn.Embedding方法除了需要指定embedding dim这个参数以外，它是基于一个已有的词典来随机分配词向量的，所以我们还需要从训练数据中构建一个词典，词典的大小是训练样本中的所有词，构建过程下文中会讲到，构建了这个词典后，每个词在词典中都会映射到一个特有的，用数字表示的ID上，比如hello这个词在词典中对应的是367，world对应897。nn.Embedding方法就是按照这个来分配每个词的随机向量表示的。构建完成后，比如在测试阶段，我们也需要对测试样本进行处理，并得到向量表示，这样才能喂给神经网络得到预测结果，此时要是一个词在训练样本从没有出现过，那么这个词在词典中就找不到对应的数字表示了，所以构建词典的时候我们指定一个特殊的值"UNK"，其值是0，也就是说，没出现过的词，都映射为0。前面我们还说过评论需要统一长度，填充词也被预先定义成“PAD”，其值是1。

比如对于一个测试样本，分词后得到：["ni", "hao", "shi", "jie"]，其中ni和jie在训练样本中出现过，它们的ID分别为34和90，hao和shi没有出现，假设max_len为5，那么["ni", "hao", "shi", "jie"]可以表示为：[34, 0, 0, 90, 1]，然后每个词都转换为词向量，喂给神经网络，得到输出与实际结果进行比较，观察是否正确分类。

上面叙述了一个大概的流程，具体的过程在下面会详细提到。

 

三、准备数据集

准备数据集和之前的方法一样，实例化dataset，准备dataloader，最终我们的数据可以处理成如下格式：

图中示意的是batch_size等于2的情况，也就是说dataloader一次只加载两个样本。其中[4,6]是两个样本的情感标签，后面的text是两个样本中分词得到的内容，形式为(['token1', 'token2'...],['token1', 'token2'...])，元组中每个列表对应一个样本，所以每个[]中共有max_len个token。

 

其中关键点在于：

1. 如何完成基础Dataset的构建和Dataloader的准备

2. 每个batch中文本的长度不一致的问题如何解决

3. 每个batch中的文本如何转化为数字序列

3.1 基础dataset的准备

import torch
from torch.utils.data import DataLoader,Dataset
import os
import re

# 路径需要根据情况修改，文件太大的时候可以引用绝对路径
data_base_path = r"data\aclImdb"

#1. 定义tokenize的方法，对评论文本分词
def tokenize(text):
    # fileters = '!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n'
    fileters = ['!','"','#','$','%','&','\(','\)','\*','\+',',','-','\.','/',':',';','<','=','>','\?','@'
        ,'\[','\\','\]','^','_','`','\{','\|','\}','~','\t','\n','\x97','\x96','”','“',]
    # sub方法是替换
    text = re.sub("<.*?>"," ",text,flags=re.S)	# 去掉<...>中间的内容，主要是文本内容中存在<br/>等内容
    text = re.sub("|".join(fileters)," ",text,flags=re.S)	# 替换掉特殊字符，'|'是把所有要匹配的特殊字符连在一起
    return [i.strip() for i in text.split()]	# 去掉前后多余的空格

#2. 准备dataset
class ImdbDataset(Dataset):
    def __init__(self,mode):
        super(ImdbDataset,self).__init__()
        # 读取所有的训练文件夹名称
        if mode=="train":
            text_path = [os.path.join(data_base_path,i)  for i in ["train/neg","train/pos"]]
        else:
            text_path =  [os.path.join(data_base_path,i)  for i in ["test/neg","test/pos"]]

        self.total_file_path_list = []
        # 进一步获取所有文件的名称
        for i in text_path:
            self.total_file_path_list.extend([os.path.join(i,j) for j in os.listdir(i)])


    def __getitem__(self, idx):
        cur_path = self.total_file_path_list[idx]
		# 返回path最后的文件名。如果path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素。
        # cur_filename返回的是如：“0_3.txt”的文件名
        cur_filename = os.path.basename(cur_path)
        # 标题的形式是：3_4.txt	前面的3是索引，后面的4是分类
        # 原本的分类是1-10，现在变为0-9
        label = int(cur_filename.split("_")[-1].split(".")[0]) -1 #处理标题，获取label，-1是因为要转化为[0-9]
        text = tokenize(open(cur_path).read().strip()) #直接按照空格进行分词
        return label,text

    def __len__(self):
        return len(self.total_file_path_list)
    
# 测试是否能成功获取数据
dataset = ImdbDataset(mode="train")
print(dataset[0])
# out:(2, ['Story', 'of', 'a', 'man', 'who', 'has', 'unnatural', 'feelings'...])
    
# 2. 实例化，准备dataloader
dataset = ImdbDataset(mode="train")
dataloader = DataLoader(dataset=dataset,batch_size=2,shuffle=True)

#3. 观察数据输出结果,在pytorch新版本(1.6)中，这里已经不能运行了，需要加上下面的`collate_fn`函数来运行，即使能够运行，结果也是不正确的
for idx,(label,text) in enumerate(dataloader):
    print("idx：",idx)
    print("lable:",label)
    print("text:",text)
    break

输出如下：

idx： 0
table: tensor([3, 1])
text: [('I', 'Want'), ('thought', 'a'), ('this', 'great'), ('was', 'recipe'), ('a', 'for'), ('great', 'failure'), ('idea', 'Take'), ('but', 'a'), ('boy', 's'), ('was', 'y'), ('it', 'plot'), ('poorly', 'add'), ('executed', 'in'), ('We', 'some'), ('do', 'weak'), ('get', 'completely'), ('a', 'undeveloped'), ('broad', 'characters'), ('sense', 'and'), ('of', 'than'), ('how', 'throw'), ('complex', 'in'), ('and', 'the'), ('challenging', 'worst'), ('the', 'special'), ('backstage', 'effects'), ('operations', 'a'), ('of', 'horror'), ('a', 'movie'), ('show', 'has'), ('are', 'known'), ('but', 'Let'), ('virtually', 'stew'), ('no', 'for'), ...('show', 'somehow'), ('rather', 'destroy'), ('than', 'every'), ('anything', 'copy'), ('worth', 'of'), ('watching', 'this'), ('for', 'film'), ('its', 'so'), ('own', 'it'), ('merit', 'will')]

很明显这里出现了问题，我们希望的是(['token1', 'token2'...],['token1', 'token2'...])的形式，但是结果中却把单词两两组合了。出现问题的原因在于Dataloader中的参数collate_fn，collate_fn的默认值为torch自定义的default_collate,collate_fn的作用就是对每个batch进行处理，而默认的default_collate处理出错。

在默认定义的collate_fn方法中，有一个参数batch，值为([tokens, label], [tokens, label])。也就是根据你的batch_size，决定元组中有多少个item，默认的collate_fn方法对batch做一个zip操作，把两个输入的item组合在一起，把两个目标值组合在一起，但是这里的输入是['Story', 'of', 'a', 'man', 'who', 'has', 'unnatural']是这样的形式，会再进行一次zip操作，多进行了一次两两组合（！！！），但是这显然不是我们想要的。前面的手写数字识别的程序中，由于图片用像素表示，而且我们已经将图片转换为tensor了，所以不会出错。

那么怎么才能获取到正确结果呢？

方法1：考虑先把数据转化为数字序列，观察其结果是否符合要求，之前使用DataLoader并未出现类似错误

方法2：考虑自定义一个collate_fn，观察结果

这里使用方式2，自定义一个col