21、文本分类方法：从嵌入查找表到微调模型

文本分类方法：从嵌入查找表到微调模型

在文本分类任务中，数据增强和不同的模型方法对分类性能有着重要影响。少量的数据增强能使朴素贝叶斯分类器的 F1 分数提高约 5 分，当训练样本达到约 150 个时，其宏观分数会超过零样本管道。接下来，我们将深入探讨基于大语言模型嵌入的方法、FAISS 库的高效相似性搜索以及微调香草变压器模型的方法。

利用嵌入作为查找表

大语言模型（如 GPT - 3）在处理有限数据的任务时表现出色。这是因为这些模型学习到了文本的有用表示，能在多个维度（如情感、主题、文本结构等）上编码信息。因此，大语言模型的嵌入可用于开发语义搜索引擎、查找相似文档或评论，甚至进行文本分类。

我们将创建一个模仿 OpenAI API 分类端点的文本分类器，具体步骤如下：
1. 使用语言模型对所有标记文本进行嵌入。
2. 在存储的嵌入上执行最近邻搜索。
3. 聚合最近邻的标签以进行预测。

graph LR
    A[标记文本] --> B[语言模型嵌入]
    B --> C[存储嵌入]
    D[新文本] --> E[语言模型嵌入]
    E --> F[最近邻搜索]
    C --> F
    F --> G[聚合标签预测]

由于 GPT - 3 只能通过 OpenAI API 使用，我们使用在 Python 代码上训练的 GPT - 2 变体来测试该技术。以下是获取文本嵌入的代码：

import t