使用双向LSTM进行情感分析详解

一、原理简介

RNN能够记忆上下文信息，因此常常用来处理时间序列数据。虽然理论上RNN能够记忆无限长度的历史信息，但是由于梯度的累计导致计算量过大无法实际操作，因此在应用中实际上RNN只能记录前面若干个单词的信息。由此就延申出了GRU和LSTM的网络结构，主要是增加门控机制来控制信息的流动，从而提高对历史信息的记忆能力，摈弃冗余的无关信息。本文将使用较为简单的双向LSTM来完成情感分析。

二、数据处理

本文使用aclImdb数据集，包含了50000条评论数据及其标签，标签包含积极和消极两个类别。按1：1的比例将其分为训练集和测试集。下面先导入要用到的包：

import collections
import os
import random
import tarfile
import torch
from torch import nn
import torchtext.vocab as Vocab
import torch.utils.data as Data

import sys
sys.path.append("..") 

os.environ["CUDA_VISIBLE_DEVICES"] = "0"
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
DATA_ROOT='C:/Users/wuyang/Datasets'

下面是数据读取，将标签转化为0，1标量。

fname = os.path.join(DATA_ROOT, "aclImdb_v1.tar.gz")
if not os.path.exists(os.path.join(DATA_ROOT, "aclImdb")):
    print("从压缩包解压...")
    with tarfile.open(fname, 'r') as f:
        f.extractall(DATA_ROOT)
from tqdm import tqdm
def read_imdb(folder='train', data_root='C:/Users/wuyang/Datasets/aclImdb'): 
    data = []
    for label in ['pos', 'neg']:
        folder_name = os.path.join(data_root, folder, label)
        for file in tqdm(os.listdir(folder_name)):
            with open(os.path.join(folder_name, file), 'rb') as f:
                review = f.read().decode('utf-8').replace('\n', '').lower()
                data.