使用大语言模型（LLMs）进行文本分类

文本分类作为自然语言处理领域的重要任务之一，在众多领域都有着广泛的应用。从垃圾邮件检测到情感分析，再到支持工单路由等，准确的文本分类能够为决策提供关键支持，提升信息处理效率。近年来，大语言模型（LLMs）的发展引起了广泛关注，其在多种自然语言处理任务中展现出了强大的能力。然而，在文本分类任务中，LLMs 是否能够取代传统的机器学习模型，以及如何有效地利用 LLMs 进行文本分类，仍然是值得深入研究的问题。

一、LLMs文本分类实验设置

（一）数据集选择

为了评估 LLMs 在文本分类中的表现，需要合适的数据集。最初考虑使用 “20 Newsgroups” 数据集，但由于其已被所有最先进的 LLMs 所熟悉，可能无法客观评估模型性能。因此，采用了从印度快报收集的包含 10,000 篇文章的数据集，这些文章发表于今年早些时候，涵盖商业、教育、娱乐、体育和技术五个类别，每个类别有 2,000 条记录。文章长度从 101 到 15,677 个字符不等，中位数长度为 865 个字符。

（二）实验步骤

1. 数据分割：将数据集划分为训练集和测试集，为后续模型训练和评估做准备。
2. 文本嵌入：使用 “distiluse-base-multilingual-cased-v2” 模型（来自 Sentence-transformer 库）将训练集和测试集中的文章转换为数值表示，该模型具有 512 维嵌入维度。
3. 训练机器学习模型：利用嵌入后的训练数据训练传统机器学习模型，这里选用 XGBoost 模型，并通过 FLAML AutoML 进行自动化机器学习和超参数调优，配置时间预算为 900 秒（15 分钟），优化指标为准确率，指定估计器为 XGBoost。
4. LLMs 预