4、基于Transformer的文本分类：从分词到模型训练

基于Transformer的文本分类：从分词到模型训练

1. 分词器的使用

在自然语言处理中，分词是一个关键步骤。上述算法中有多种分词流程的变体，Transformers文档中的分词器总结提供了每种分词策略的详细信息。子词分词（以及单词分词）的主要特点是它是从预训练语料库中学习得到的。

我们使用Hugging Face Transformers库来看看子词分词是如何工作的。对于给定的预训练模型，加载合适的预训练分词器对于获得合理的结果至关重要。Transformers库提供了方便的 from_pretrained 函数，可用于从Hugging Face模型中心或本地路径加载对象。

为了构建情感检测器，我们将使用BERT的变体DistilBERT，它是原始BERT模型的缩减版本。该模型的主要优点是在性能上与BERT相当，但规模更小、效率更高，这使我们能够在几分钟内训练一个模型。如果想训练更大的BERT模型，只需更改预训练模型的 model_name 即可，模型和分词器的接口是相同的，这体现了Transformers库的灵活性。

以下是加载DistilBERT模型分词器的代码：

from transformers import AutoTokenizer 

model_name = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_name)

AutoTokenizer </