【NLP工具】——torchtext

概述

在处理NLP任务时除了需要优秀的神经网络还需要方便、高效的数据预处理工具。今天介绍一款优秀的NLP数据处理工具torchtext。

NLP常见的数据预处理工作如下：

1. Load File：数据文件加载；
2. Tokenization：分词；
3. Create Vocabulary：创建字典;
4. Indexify：将词与索引进行映射;
5. Word Vectors：创建或加载词向量；
6. Padding or Fix Length：按长度对文本进行补齐或截取；
7. Dataset Splits：划分数据集（如将数据集划分为训练集、验证集、测试集）；
8. Batching and Iterators：将数据集按固定大小划分成Batch；

使用torchtext完成以上工作：

• 使用 torchtext.data.Field 定义样本各个字段的处理流程（分词、数据预处理等）；
• 使用 torchtext.data.Example 将 torchtext.data.Field 处理成一条样本；
• 使用 torchtext.data.Dataset 将 torchtext.data.Example 处理成数据集，也可对数据集进行划分等工作；
• 使用 torchtext.data.Iterators 将 torchtext.data.Dataset 按照 batch_size 组装成 Batch 供模型训练使用；
• 使用 torchtext.data.vocab 和 torchtext.data.Vectors 创建词典、词和索引的一一对应、下载或使用预训练的词向量等；

安装

• 使用如下命令安装：pip install torchtext

文档

• 官方教程：https://torchtext.readthedocs.io/en/latest/index.html

主要的Package

1. torchtext.data
   • torchtext.data.Dataset：数据集；
   • torchtext.data.Example：样本；
   • torchtext.data.Fields：样本的属性（如：content、label）；
   • torchtext.data.Iterators：将数据集封装成Batch，并提供迭代器；
2. tochtext.vocab
   • torchtext.vocab.Vocab：词典相关；
   • torchtext.vocab.Vectors：词向量相关；

实践

Field

API

class torchtext.data.Field(
    sequential=True, use_vocab=True, init_token=None, eos_token=None, 
    fix_length=None, dtype=torch.int64, preprocessing=None, postprocessing=None,
    lower=False, tokenize=None, tokenizer_language='en', include_lengths=False,
    batch_first=False, pad_token='<pad>', unk_token='<unk>', pad_first=False,
    truncate_first=False, stop_words=None, is_target=False
)
#...
def build_vocab(self, *args, **kwargs)

重要的参数：

1. sequential：是否是可序列化数据（类似于字符串数据），默认值是 True；
2. user_vocab：是否使用 Vocab 对象，如果取 False，则该字段必须是数值类型；默认值是True