【Pytorch】【torchtext(二)】Field详解_torchtext field

eos_token：文本的结束字符，默认为None。

fix_length：所有样本的长度，不够则使用pad_token补全。默认为None，表示灵活长度。

tensor_type：把数据转换成的tensor类型 默认值为torch.LongTensor。

preprocessing：预处理pipeline， 用于分词之后、数值化之前，默认值为None。

postprocessing：后处理pipeline，用于数值化之后、转换为tensor之前，默认为None。

lower：是否把数据转换为小写，默认为False；

tokenize：分词函数，默认为str.split

include_lengths：是否返回一个已经补全的最小batch的元组和和一个包含每条数据长度的列表，默认值为False。

batch_first：batch作为第一个维度；

pad_token：用于补全的字符，默认为。

unk_token：替换袋外词的字符，默认为。

pad_first：是否从句子的开头进行补全，默认为False；

truncate_first：是否从句子的开头截断句子，默认为False；

stop_words：停用词；

2. 例子

# 1.数据
corpus = ["D'aww! He matches this bac