TorchText实践总结

最新推荐文章于 2025-06-05 09:08:17 发布

原创最新推荐文章于 2025-06-05 09:08:17 发布 · 1.1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#TorchText #文本处理

NLP 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍TorchText库在文本处理中的应用，包括数据加载、预处理、词汇表构建及迭代器使用等核心功能，适合初学者快速上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TorchText详细介绍1传送门
TorchText入门教程，轻松玩转文本处理传送门

from torchtext.data import Field,TabularDataset,Iterator,BucketIterator
'''
声明式加载数据方式
tokenize：分词方式     可以先定义好函数
'''
#Field定义怎么处理原始数据
TEXT = Field(sequential=True,tokenize=lambda x:x.split(),lower=True)
#label 默认是数字类型，并且不是顺序序列
LABEL = Field(sequential=False,use_vocab=False)
#告诉fields处理那些数据
tv_datafields = [("id",None),("comment_text",TEXT),("toxic",LABEL),("severe_toxic",LABEL),("threat",LABEL),("obscene", LABEL), ("insult", LABEL),
                 ("identity_hate", LABEL)]
#splits方法可以同时读取训练集，验证集，测试集
trn,vld = TabularDataset.splits(path='/Users/yangyang/Desktop/practical-torchtext/data',train='train.csv',validation='valid.csv',format='csv',
                               skip_header=True,fields = tv_datafields)
#加载数据后可以建立词典，建立词典的时候可以使用与训练的word vector
#TEXT.build_vocab(train, vectors="glove.6B.100d")
TEXT.build_vocab(trn)
train_iter,val_iter = BucketIterator.splits((trn,vld),batch_sizes=(25,25),sort_key = lambda x:len(x.comment_text),sort_within_batch = False,repeat = False)
for idx,batch in enumerate(train_iter):
    comment_text,toxic = batch.comment_text,batch.toxic
    print(toxic)
    print(comment_text)

原数据集示例展示：